在胡太后的庇护和高纬的纵容之下，一时间，和士开权倾朝野。为北齐江山社稷考虑，不少王公大臣都想方设法地要除掉他，但始终没有成功。终于有一天，琅琊王高俨等人动手了。先是王子宜写了奏折列出了大量的罪名弹劾和士开，请求皇帝准许依法逮捕法办和士开。接着，冯太后的妹夫冯子琮将这份奏章夹在其他公文中交给高纬。高纬一向不理朝政，对所有大臣们的奏折都是看也不看就准奏。骗到皇帝圣旨的高俨立即将和士开诛杀于神兽门外。这时，高纬才得知真相，但高俨已经顺利掌握了大权，他只好不再追究。

和士开死后，寂寞难耐的胡太后在一次礼佛时认识了和尚昙献。经过一番纠缠之后，昙献终于屈服在她的淫威之下。胡太后经常借看礼佛的幌子私会昙献，要么就以讲经为借口将昙献接到宫中淫乐。然而，胡太后索求无度令昙献颇感为难，最后他只得介绍两个面相清秀的小和尚给胡太后以求脱身。胡太后见到两个俊美的小和尚后很是开心，为了将这两个小和尚留在身边，又将他们打扮成尼姑蒙混过关，带进宫内。当时有不少人知道胡太后与和尚胡混的事，他们告诉了高纬，但高纬不相信母亲会做出这样的事来。一次，他到胡太后处拜谒，见两个小尼姑长得俏丽，于是传到自己宫中陪侍，这才发现二人皆是男子。

高纬恼羞成怒，下令追查这两名和尚的来历。不久便查到昙献，昙献和胡太后之间的奸情也就大白于天下了。这些和尚全都被高纬杀死。除此之外，高纬还查出一些与胡太后有染的官员，将他们一并诛杀。这件事情发生以后，胡太后完全失去了儿子对她的尊重，她手中的所有权力一并被没收，而且还被幽禁在北宫，“内外诸条一律不得与太后相见”。

和士开死后，胡太后为了巩固自己在宫中的地位，想尽办法取悦儿子高纬，最后还将自己的侄女引荐给他。这位胡氏女极其貌美，高纬非常喜欢她，立即封为弘德夫人，不久又晋封昭仪。此时，高纬的皇后仍是斛律氏。斛律氏是高湛为儿子选的，高湛此举是出于政治上的考虑，斛律氏的父亲斛律光手握兵权，高湛此举无非是想笼络斛律光。然而，高纬却并不喜欢这位皇后，而且还杀了岳父，废了斛律氏。