(1)∵在矩形ABCD中,AB=6cm,BC=8cm,
∴AC=10,
①当AP=PO=t,如图1,
过P作PM⊥AO,
∴AM=12AO=52,
∵∠PMA=∠ADC=90∘,∠PAM=∠CAD,
∴△APM∽△ACD,
∴APAC=AMAD,
∴AP=t=258,
②当AP=AO=t=5,
∴当t为258或5时,△AOP是等腰三角形;
(2)过点O作OH⊥BC交BC于点H,则OH=12CD=12AB=3cm.
由矩形的性质可知∠PDO=∠EBO,DO=BO,又得∠DOP=∠BOE,
∴△DOP≌BOE,
∴BE=PD=8−t,
则S△BOE=12BE⋅OH=12×3(8−t)=12−32t.
∵FQ//AC,
∴△DFQ∽△DOC,相似比为DQDC=t6,
∴S△DFQS△DOC=t236,
∵S△DOC=14S矩形ABCD=14×6×8=12cm2,
∴S△DFQ=12×t236=t23,
∴S五边形OECQF=S△DBC−S△BOE−S△DFQ=12×6×8−(12−32t)−t23=−13t2+32t+12;
∴S与t的函数关系式为S=−13t2+32t+12;