其实，当时王安石掀起的“扫黄风暴”只不过是打击异己的手段而已。为了推行新法，打击异己，王安石曾不止一次用“扫黄”的办法来收拾政敌。祖无择就是他打击的最有名的政敌之一。祖无择是一位鲠直之士，有点众所周知的臭毛病，口无遮拦，曾不止一次得罪过王安石。早在仁宗年间，祖无择与王安石同为知制诰，共替皇帝起草诏书。依北宋朝制，知制诰草诏是有稿费的，当时叫“润笔”，王安石坚决不收润笔，将钱挂在翰林院的梁上，以示清高；但这笔钱却被祖无择毫不客气地取下来花掉了，“安石闻而恶之”。

熙宁初年，王安石当政，推行新法，自知民怨沸腾，便做了一首《咏雪》诗，来自我辩解：“势大直疑埋地尽，功成才见放春回。村农不识仁民意，只望青天万里开。”祖无择听后大笑，出言相讥：“待到开时，民成沟中瘠矣！”因此王安石对祖无择怀恨在心，“乃讽监司求无择罪”，就是暗中吩咐当监察御史的亲信搜寻祖无择的违反朝廷规制之处，务必尽快拿到祖无择的罪证。

就这样一些惟王安石马首是瞻的御史，便想方设法搜集祖无择的罪证，终于给他们找到一条：“祖无择知杭州，坐与官妓薛希涛通”。这意思就是说，祖无择在杭州当太守时，曾闹出“招妓门”的丑闻，那个官妓就是杭州名妓薛希涛。王安石当然不放过这个收拾祖无择的绝好机会，马上安排手下将祖无择关押起来进行审问。同时把薛希涛也被抓来，严刑拷打，要她指证祖无择嫖娼行为。由于王安石在扫黄时严刑拷打妓女，当时也曾在朝野上下饱受诟病。

王安石对付祖无择，当然有不可告人的“打击异己”用意，但这也不能说祖无择受了冤屈，因为他在杭州做官时，确实与妓女薛希涛有“不正当关系”，而按宋朝法律，官员如果与妓女有私，也确实是要受责罚的。只不过祖无择很幸运，薛希涛对他一往情深，宁死也不出卖他。这也是祖无择逃过一劫。