公主的状态让宋仁宗和公主生母苗贵妃很不安。据说苗贵妃一度想要杀了李玮。苗贤妃曾让内臣王务滋去驸马府上班，实际中让他暗中调查李玮的过失，希望能抓到李玮的把柄。可是李玮素来谨慎，王务滋盯了很久也一无所获。后来苗贵妃又想赐李玮毒酒，但被宋仁宗否决。

不能把女婿毒死，也不忍心看着闺女那么痛苦，宋仁宗只能让他们分居了。嘉祐七年（1062）赵祯下诏让福康公主搬回宫住，驸马都尉李玮出知卫州，他的生母杨氏也搬倒嫡兄李璋家住。宋仁宗同时，也惩罚了公主身边的人，乳母昌黎郡君韩氏削去封号赶出去，韩氏的侄女婿于润也被贬职，内臣梁怀吉等都召回内侍省，公主府人员全部遣散，赵祯钦点的鸳鸯就此劳燕分飞。

自从公主搬进宫住后，李璋就知道弟弟这桩婚事保不住，主动上书请求让福康夫妻离婚，被闺女折腾的焦头烂额的赵祯顺水推舟，同意李璋的请求，让他们夫妻离婚。但没多久，随着宋仁宗赵祯身体的衰败，也不知他怎么想的，竟又给他们复婚了。在当年的十一月初三，又进封沂国公主为岐国公主，建州观察使、知卫州李玮改安州观察使，复为驸马都尉。

福康公主和李玮复婚不到半年，嘉祐八年（1063）三月二十九，赵祯驾崩，年53岁。四月初一，赵祯过继的嗣子赵曙继位，是为宋英宗。

在英宗继位的过程中，身为殿前都指挥的李璋和新皇站在一派，并为之立下功劳，李家又成了新朝的新贵。已经进封越国长公主的福康搬出宫去，宋仁宗不在了，宋英宗也不是自己亲哥哥，福康就再也没有往日的荣宠。后来宋英宗驾崩，宋神宗继位，赵徽柔有被晋封为楚国大长公主。但这几年她实际过得怎么样却没人知道。知道熙宁三年（1070）正月初九，32岁的福康公主病死，神宗皇帝亲自前往祭奠，才知道这个姑妈这几年一直过得十分凄惨，甚至可以说是被驸马虐待，公主生病都没人理，住在冰窖一样的卧房，被褥上都是虱子虮子，没人帮公主生活，公主自己生火还让炭灼伤了脸。王安石的《熙宁奏对日录》，其中“熙宁三年（庚戌一〇七〇年）（正月九日）”的记载是：驾至楚国长公主宅浇奠，上召中书入见，恸哭言：“李玮负仁宗恩，遇长主无恩礼，可便与节度副使安置。”上曰：“玮都不恤长主，衣服饮食药物至于呼医，亦多作阻隔，长主衣衾乃至有虮虱，至自取炭生火，炭灹伤面。”

想像一下，昔日集万千宠爱于一身的天之骄女，堂堂长公主，是在怎样的凄惨环境中死去。

愤怒的神宗以李玮侍奉公主无状的罪名，贬李玮为郴州团练使，取消驸马都尉的头衔，陈州安置。又追封福康为秦国大长公主，谥号庄孝，还取消当年上元节的朝贺礼和御楼作乐，并命辅臣去诸神御殿烧香。

福康公主死后，虽然没有了驸马都尉头衔，李玮过得照样怡然自得，还纳妾生子李承徽，在徽宗崇宁元年时，他的妾生子李承徽还和福康的外甥女、秦魏国大长公主（福康十妹庆寿）第三女信都郡主钱氏攀上议亲结婚呢！