李玮也知道自己配不上公主，也不想天天陪公主说话，所以他每天都出门躲着公主。公主在家无人陪伴倍感无聊，于是就爱上了她带来的太监梁怀吉。梁怀吉从小进宫，善于学习认识书和礼。虽然他被阉割了，但他的身上有一种优雅的气质。更重要的是，他和公主的年龄并没有太大的不同。梁怀吉利用了公主和驸马空虚的情感空当。他很快就把公主带到了情感沙漠中，由于他特殊的地位，他们基本上还是形影不离的。

嘉佑五年，福康公主与内侍梁怀吉饮酒，被婆婆杨氏偷窥，公主顿时大怒，动手打了婆婆。

《读炎治通鉴长编》记载道：“公主尝与怀吉饮，杨氏窥之，公主怒，殴杨氏。”挨了一顿打后，杨夫人怒不可遏地说：“你们这对狗男女等着！偷人还偷出理了！难怪这么多年，你对自己的夫君爱搭不理，原来是忙着偷汉子！你们给我等着，明天我就入宫面圣，让皇帝来评理！”福康公主被如此痛骂羞辱，岂能无动于衷。福康公主大喊道：“我受够了，这个家我不待了。我要入宫，我要去见父皇。”随后，福康公主推开众人，坐上一辆小马车，回娘家去了。当时，天色己晚。宋朝有规定，入夜之后，不得再打开宫门，以防变乱，违者严惩不贷。福康公主知道这个规矩，但她回家心切，就一直在宫门外叩门。守军不敢阻拦，只得让福康公主进入。

福康公主回家后，泪如雨下，把自己在婆家受到的耻辱，全部诉说了一遍。宋仁宗听完后，勃然大怒。什么？杨夫人敢辱骂公主！真是反了你！老子要是不收拾你，真当公主娘家无人了！宋仁宗安慰了女儿几句，并一再表示，明天天一亮就严惩李玮，替女儿出气。说罢，就安排福康公主休息去了。一夜无语，第二天天一亮，李玮第一时间进入皇宫，主动上表请罪。面对这个“罪臣”，盛怒之下的宋仁宗懒得听他解释，直接颁布一道圣旨——将李玮贬官一级，调离京城，发配地方。此诏命一出，满朝哗然。