李显被废后，联想到两个哥哥的惨死和自己不幸的遭遇，终于明白了母亲的可怕，于是日日忧惧，夜夜哭啼。李显每次听说朝廷的敕使来访，都以为是来置他于死地的杀手，吓的要上吊自杀。韦皇后的意志力却比较坚强，她对李显说道：“虽然祸福无常，但我们不能不见棺材就落泪，何必自乱阵角呢？”时间一长，韦皇后对自己这位动不动就一哭二闹三上吊的丈夫颇为失望，她经常大声斥责李显没有出息，训斥完了，又温言劝解，给他分析道路是曲折的，而前途是光明的道理。李显对与自己同甘共苦的老婆又是感激涕零，又是心存忌惮，他对韦皇后说道：“假如我有一天还能东山再起的话，一定好好补偿你，你干什么事情，我都不会阻止。”就这样，在母亲和妻子的双重压力下，李显在漫长的放逐岁月里完成了自己懦弱性格最后的塑造。

大概上天要给李显一个实现自己誓言的机会，公元705年，八十一岁的女皇武则天病重，宰相张柬之趁机发动政变，逼迫她重新迎回了李显。李显在二十二年后，终于奇迹般的又一次登上了皇帝宝座。

苦尽甘来后的李显，自然不会忘记当初在房州对妻子许下的承诺。于是韦皇后理所当然的掌握了朝廷大权。掌权的韦皇后四处寻欢作乐，生活放荡，和武则天的侄儿武三思勾搭成奸，败坏朝政。武氏家族的势力沉渣泛起，宰相张柬之等人知道情况后，便秘密觐见中宗，要求诛杀武三思。但窝囊的中宗不但不听，反而将武三思等人列为了拥立他即位的大功臣。张柬之回去抚床叹愤道：“当初不杀武氏诸人，是想让当今皇上亲自诛除，以显皇威，没想到现在事情到了这个地步，大势去矣。”

更让人难以置信的是，中宗对韦皇后和武三思的奸情不是不知道，但是他毫不介意，而且还持放纵支持的态度：武三思和自己的老婆在床上打情骂俏的玩赌博游戏时，他就坐在一边观看，还帮他们数钱！提前过上共产共妻生活的中宗，窝囊的可真是前无古人，难有来者。