贺兰敏之如此色胆包天、淫荡成性，很可能是他的一种“报复”。贺兰敏之的母亲武顺也长得很漂亮，被封“韩国夫人”，由于经常出入宫廷，被唐高宗李治看上了，于是被拉上了龙床，宠爱无比。结果某天“韩国夫人”突然死掉了，大家都猜测是武则天干的。武顺出入宫廷的时候常带着女儿，也就是贺兰敏之的妹妹贺兰氏，结果贺兰氏也被李治看上了。贺兰氏被李治封为“魏国夫人”，受宠程度超过了武则天。马上，“魏国夫人”吃了一盒武家送来的点心死掉了。贺兰敏之本来风流倜傥，又有才子的敏感脆弱。看到母亲、妹妹的下场，一定是受到了刺激。母亲、妹妹死于“乱伦”，贺兰敏之就用“乱伦”来报复李治和武则天。贺兰氏死后贺兰敏之入宫吊唁，高宗一见到他，悲恸哭道：“我一早上朝前看她还好好的，没想到退朝后她竟然就不行了，怎么会这样啊？”贺兰敏之听了一句话都不说只是嚎啕大哭。武则天知道后认为：“这孩子肯定是在怀疑我！”从此就对他产生了厌恶之心。
正好贺兰敏之这些淫乱的行为为武则天提供了口实。于是武则天将贺兰敏之流放到雷州半岛，并恢复了他的姓氏。贺兰敏之走到韶州的时候，武则天派人将其用马鞭勒死。
