用反证法证明:假设f(x)不恒为0,由连续函数最大值,最小值定理可知,必存在最大值f(x1),最小值f(x2),不妨设最大值和最小值都不为0,则f(x1)>0,f(x2)<0,因为f(x)在[a,b]中处处可导,而端点f(a),f(b)又不是最大值,所以f(x1)为极大值,f(x2)为极小值。所以f'(x1)=0,f''(x1)<0,f'(x2)=0,f''(x2)>0,将x1,x2点带入微分方程,y''(x1)-(1-x1^2)y'(x1)-y(x1)=y''(x1)-0-y(x1)=y''(x1)-y(x1)<0与已知矛盾,同理y''(x2)-(1-x2^2)y'(x2)-y(x2)=y''(x2)-0-y(x2)=y''(x2)-y(x2)>0与已知矛盾.所以f(x))≡0.
当在最大值和最小值有一个为0时,同理证明,提问者可以自己试试。