势力壮大后,钟相和杨幺渐渐背叛“等贵贱,均贫富”的宗旨,衣食住行无不穷奢极欲,连睡觉的床都要金玉镶嵌,部下士卒和治下百姓却困苦潦倒,以致于岳飞一来争相投附。杨幺不但自己享乐,更滥施兵威,焚烧无数宅院庙宇,滥杀官吏书生僧道,把滥杀无辜称为“行法”,将野蛮烧杀与反抗朝廷压迫混为一体,给洞庭湖地区造成了极大的破坏,以致民不聊生,直到岳飞平定杨幺军后才渐渐恢复元气。
除此之外,知州刘愿得到被杨幺俘虏后设法逃回的宋军报告,得知杨幺已经与伪齐联盟,相约来年秋一起攻宋,此外尚有诸多证据指向双方勾结图谋倾覆南宋,杨幺已经成为“金兵,伪齐”之外的第三大祸患。南宋朝廷在屡次进攻失败之后,于公元1135年,派岳飞军队剿灭杨幺。岳飞根据杨幺不得人心的特点,采用困抚结合的方法,旬日之间,杨幺军将士争相归服,杨幺亦被杀死。自此,南宋对抗金兵侵略中最大的内患被消除。