三大将中，张俊已与高宗、秦桧同流合污；韩世忠本来也是被构陷的目标，但他看清了朝中的凶险，及时向宋高宗表明心迹，并从此醉心佛、老，“杜门谢客，绝口不言兵。时跨驴携酒，从一二奚奴，纵游西湖以自乐，平时将佐罕得见其面”。高宗念他过去勤王救驾有功，终于保全了他。
这样，目标就瞄准了岳飞，给岳飞罗织的罪名是违抗军令、指斥乘舆、密谋造反。绍兴十一年十二月二十九日，赵构亲自下旨，将岳飞赐死于临安大理寺（杭州小车桥北）狱中，其子岳云和部将张宪被斩于临安闹市（杭州众安桥）。
谁是害死岳飞的真凶？这本来不成为一个问题，但由于古人为尊者讳的传统和今人构思过度的缘故，此事一直难成定论。其实，杀岳飞者，秦桧和宋高宗是也。
朱熹说：“秦桧之罪所以上通于天，万死而不足以赎买，正以其始则唱邪谋以误国，中则挟虏势以要君，……而末流之弊，遗君后亲，至于如此之极也。”秦桧因力主和议获得宋高宗的信任，也极力要通过促成和议来巩固权位，主战的岳飞自然是他必欲除之而后快的对象。
宋高宗在靖康之难时曾在金营充当人质，早早就落下了“恐金”的病根。当金人一心要殄灭他的小朝廷时，他不得不任用武将，与金对抗。等到形势有所好转，他就急于跟金人和谈，只要承认他儿皇帝的地位，怎样屈辱的条件都可以接受，所谓“恢复中原，迎回二帝”，只不过是他驱使南宋军民为他效力的空洞口号。
同时，高宗虽然怯懦，但并不愚蠢。一旦议和成为可能，他的注意力便立刻转到整顿内部，巩固皇权。祖宗的“圣训”，言犹在耳；武将的跋扈，他也是亲身领教过的（如“苗刘兵变”）。为了削夺武将兵权，铲除一切可能对皇权构成威胁的势力，他不惜杀害岳飞，自毁长城。
宋理宗时，徐集孙有《岳鄂王墓》诗，内中有云：“班师似出高宗意，逢恶徒成秦相奸。”就连金朝人也说：“威略震主者身危，功盖天下者不赏，自古如此，非止于今。飞之威名战功暴于南北，一旦见忌，遂被叁夷之诛，可不畏哉！”
直到秦桧死时，宋高宗还不止一次地告诫文武臣僚说：对金媾和，是出于他本人的决策，不允许任何人趁秦桧之死而对此事再提异议，动摇既定国策。
王夫之曾一语道破宋高宗和秦桧之间互相利用、狼狈为奸的关系：“高宗之为计也，以解兵权而急于和；而桧之为计也，则以欲坚和议而必解诸将之兵，交相用而曲相成。”
