一晃到了雍熙二年（985年）。赵廷美“被”自杀之后，赵元佐经常称病不去拜见太宗，宋太宗心中恼恨。而次子赵元僖则多次表态支持自己的决定，令他很满意。赵元僖还禀告，卢多逊、赵廷美的余党经常偷偷拜会楚王。楚王若受小人挑拨，父子误会将更大。宋太宗听后忧心忡忡，于是将楚王宫中所有宦官、宫女一律撤换。赵元佐形同软禁，也心中恼恨，抑郁加愤怒，让他得了间歇性狂躁病，随从一旦犯了小错就挥剑砍人。随从受了气，就添油加醋地禀报太宗，太宗很生气，对长子严加管束。一来二去，赵元佐对父亲更加失望，经常手拿弓箭站在高楼，看到有太宗信任的宦官、侍卫经过，就一箭射过去。众人大为惊恐，自然加倍诋毁赵元佐。渐渐地，宋太宗也就心灰意冷了。
重阳节，皇宫要举办宴会，主持宴会的赵元僖亲自通知了其他皇子、妃嫔，唯独没有告诉赵元佐。宋太宗问起，赵元僖回复：皇兄近日多病，说不来参加宴会了。宋太宗信以为真，不再多问。宴会结束后，赵元僖与众兄弟路过楚王府，一路谈论宴会上如何热闹、父皇如何慈爱。赵元佐听说后当场摔了杯子：唯独我没有受邀，这明摆着是父皇抛弃了我啊！当夜，楚王府忽然发生大火，直到天亮还在燃烧。审问时，楚王府中的宦官、宫女和侍卫异口同声地表示，楚王当晚发了疯病，拿剑胡乱砍人，对皇帝满是怨言。宋太宗认定大火必定是赵元佐亲手点燃。这个混账儿子对父亲怨恨已久，竟然想焚烧宫殿，好让父亲落得食子的千古骂名，用心何其狠毒！
宋太宗下诏斥责长子凶残荒唐，并宣布从此之后，断绝父子关系。赵元佐被赶出京城，之后虽然回到京城，太宗却下令将其软禁，此后不得宣召不可入宫。赵元佐从此失去了争夺太子的资格。
在扳倒卢多逊和赵廷美的时候，赵普第一次注意到了赵元僖。当年的小男孩已经成长为心思缜密、善于察言观色的大人。赵元佐在政治上极为幼稚，难怪宋太宗对其极度失望；赵元僖则始终紧跟父皇的脚步，而认定卢多逊和赵廷美谋逆，支持赵普的工作。赵普也希望在诸位皇子之中找到一位可以互相援引的同道中人。无疑，赵元僖就是最佳人选。
