分析:(1)由f(x)是R上的奇函數(shù),得f(0)=0,且f(-1)=-f(1);代入f(x)可得a、b的值;
(2)由f(x)的解析式,用單調性定義可以證明f(x)是定義域上的減函數(shù);
(3)由f(mt2-2t)+f(1-t2)<0,可得f(mt2-2t)<-f(1-t2);
由f(x)是奇函數(shù),得-f(1-t2)=f(t2-1),從而得f(mt2-2t)<f(t2-1);
由f(x)是減函數(shù),得mt2-2t<t2-1恒成立,解得m的取值范圍.
解答:解:(1)∵f(x)是R上的奇函數(shù),∴f(0)=0,且f(-1)=-f(1);
即
=0,且
=-
;
解得a=2,b=1;
∴f(x)的解析式為f(x)=
;
(2)∵f(x)=
,
∴f(x)=-
=
-
是R上的減函數(shù);
證明如下:在R上任取x
1<x
2,則f(x
1)-f(x
2)=(
-
)-(
-
)=
;
∵x
1<x
2,∴
2x2-
2x1>0,
2x1+1>0,
2x2+1>0,
∴
>0;即f(x
1)>f(x
2);
∴f(x)R上的減函數(shù);
(3)∵f(mt
2-2t)+f(1-t
2)<0恒成立,∴f(mt
2-2t)<-f(1-t
2);
∵f(x)是奇函數(shù),∴-f(1-t
2)=f(t
2-1),∴f(mt
2-2t)<f(t
2-1);
∴f(mt
2-2t)<f(t
2-1),
又∵f(x)是減函數(shù),∴mt
2-2t>t
2-1,
即(m-1)t
2-2t+1>0恒成立,
∴
,解得m>2;
∴m的取值范圍是{m|m>2}.
點評:本題考查了函數(shù)的奇偶性與單調性的性質和應用,以及不等式恒成立問題,是中檔題.