A与B相似则trA=trB 即1+4+a=2+2+b|A|=|B| 即6(a-1)=4b解得a=5，b=6
a=5, b=6解：A,B相似，则A，B的特征值相等。易得B的特征值方程f(B)=(x-2)(x-2)(x-b)A的特征方程化简得f(A)= x^3-(a+5)x^2+(5a+3)-6a+6 f(A)=f(B) 对比系数得b+4=a+5 3a-3=2b 得 a=5 b=6
