种种刺激令赵徽柔的精神出现问题，她多次自杀未遂，宋仁宗不忍心看她这样，便将梁怀吉调了回来，但她的精神疾病并没有因此好转。
据说公主生母苗贵妃想要杀了李玮，但是最后李玮哥哥知道，让两人离婚。但是后来的时候仁宗去世，临终之前，他竟然给公主复婚了，复婚之后，宋英宗继位，因为不是自己亲姐妹也没咋管过，所以谁都不知道公主这几年度过了怎样的生活，直到宋神宗继位之后，我们才得以一探究竟。王安石的《熙宁奏对日录》，其中“熙宁三年（庚戌一〇七〇年）（正月九日）”的记载是：驾至楚国长公主宅浇奠，上召中书入见，恸哭言：“李玮负仁宗恩，遇长主无恩礼，可便与节度副使安置。”上曰：“玮都不恤长主，衣服饮食药物至于呼医，亦多作阻隔，长主衣衾乃至有虮虱，至自取炭生火，炭灹伤面。”也就是说公主病了没人管。衣服被子都没人洗，长了虱子、冬天没人给烧炭炉，自己烧炭的时候，还将脸烧伤了了！不知道宋仁宗，知道自己最宠爱的女儿会这样屈辱致死，有没有一丝后悔呢？
