绍兴三十二年，宋高宗从建康起驾返回临安城，一路上，他的心里并不是大难后的平静如水。万万没想到，时隔多年，自己又重新体会了一遍那种熟悉的感觉，什么感觉呢?就是金兵大军压境，自己时刻有生命危险的感觉，这种感觉又惊险又刺激，没经历过的人难以体会的到。无论如何，这场劫难总算是平息了，虞允文关键时刻挺身而出，完颜亮被部下所杀，金世宗令所有南征部队北返。不过对宋高宗来说，还有一个心腹之患也解除了，那就是金使在朝堂上跟他说的：赵桓已经被完颜亮杀死了。
说实在的，要是没有宋徽宗、宋钦宗的被俘，这皇帝宝座无论如何也轮不到他赵构来坐，宋徽宗像极了南唐后主李煜：治国不咋的，艺术水平那是顶呱呱，生育能力也是棒棒哒，生性好色的他有三十多个儿子，赵构排行老九，只是三十多分之一，并不被徽宗重视;金兵南下以后，钦宗两次派赵构前往金营，第一次是当人质，第二次是议和，都是非常危险的事情，很有可能就是一去不返，危难时刻，赵桓又何曾念及兄弟的安危?不过是应付金人、保全自己的一种手段罢了，赵构对其父、其兄的感情其实并不深，可能还有些不满。
赵构像
而且，赵构继位以后最不愿意见到的恰恰就是徽宗、钦宗，因为钦宗是按照正式的传位诏书继位的，赵构则是危难时刻临时登基的，来路并不正，在人们心中，他只是个代理皇帝，真正的皇帝还是被俘的那个，有朝一日，一旦打败金兵，皇位还是让钦宗来坐。赵构对此心知肚明，所以当那父子俩被压往东北的时候，名将宗泽强烈要求夺回二圣，赵构只是呵呵，表现的就不积极，后来在江南安顿下来，岳飞这帮主战派天天嚷嚷着要迎回二圣，宋高宗心里很不是滋味。如何能让自己皇位永固?方法就是和金人议和，割地赔款杀岳飞都不在话下，只要金人不再南侵，不把钦宗放回来。
