褚遂良在永辉六年的九月已经被贬到潭州(今湖南长沙)做官去了，韩瑗和来济还在朝中为官。
在反对武皇后为后，和废王立武这件事也已经过去，一年了。
武则天上疏道：“陛下前以妾为宸妃，韩瑗来面折廷争，此即事之极难，岂非深情为国，乞加褒赏!”
武则天这一招棋，叫做以退为进，用的妙啊！说陛下之前要立成妾为宸妃，韩瑗来济，在殿廷争风，这若不是深情为国，一般人是不敢跟皇上当面反对皇上的决策的!所以一定要褒赏韩瑗和来济，以资鼓励。
韩瑗和来济果然就上当了，心想这武皇后看样子也不过如此啊！人也挺憨厚温和的，挺好相处的。还请求皇上褒奖他们，于是两人就有点飘飘然了！
韩瑗和来济心想这事已经过去这么久，应该没什么事了！就在显庆元年的十二月，便上疏给皇上道：“褚遂良，前因小人离间，被贬潭州，今皇上因召回褚遂良，为国为民都有莫大功劳，朝廷不可一日无褚遂良，不然会酿成大祸的呀！”
李治一看这奏章，当即勃然大怒，说当初这褚遂良以下犯上都顶撞朕至此，你韩瑗来济还敢来说情，你把朕当傻子呢，谁挑拨离间了！不就是顶撞皇上自个了，如今还不到一年多你韩瑗来济的胆子也未免太大了，敢黑的说成白的。说有人离间，那不摆明了皇上就是小人么？
高宗李治见这上疏不高兴，当即就你说让调回来，我就继续贬，贬到更偏远的地方去，褚遂良就被贬到了桂州，当时的桂州是广西桂林，桂林山水甲天下的桂林。来济和韩瑗虽为宰相也是没办法，只能执行皇上的旨意，把褚遂良贬到贵州去了。
就当韩瑗来济以为这事也就这样算了的时候，武皇后可不以这样就算了，她正大睁着双眼，看谁露出马脚正愁抓不到把柄呢！谁知这韩瑗和来济就上当了，居然自投罗网了，这岂不是天意么？
武媚娘就召来许敬宗说：“许公，本宫见韩瑗来济，不顾皇上颜面天威，公然要保褚遂良回朝，他们当初反对本宫成为皇后，那是皇上的意思啊？”
许敬宗道：“确实是皇上和民心已经臣等的意思!”
武媚娘笑道：“是啊！可是他韩瑗和来济就敢诋毁皇上说皇上是为了小人离间才把褚遂良发配到潭州为官的。那至你，我，皇上，民心为小人么？”
许敬宗聪明人啊！当即就明白了武皇后的意思道：“皇后娘娘英明，这韩瑗和来济恐怕，已经和褚遂良狼狈为奸，里应外合了！”
武媚娘笑道：“许公就是知心，你去吧，说了之后本宫安心多了！”
第二天许敬宗上朝奏本道：“皇上臣有要事启奏”
许敬宗道：“皇上臣看朝廷之中正在酝酿一个大阴谋啊！”
李治说：“哦”
许敬宗言辞凿凿道：“皇上那韩瑗来济，把褚遂良贬官到桂州，明着贬官，实则升官啊！”
李治疑惑道：“哦”
许敬宗说：“皇上，那桂州可是一个好地方啊！能囤粮养兵，易守难攻，是兵家必争之地。这韩瑗来济摸准了皇上会贬官褚遂良，就把褚遂良安排到桂州，养兵，以待时机，到时候和韩瑗来济，里应外合，攻打长安，逆行造反，请皇上明查？”
李治当即大怒道：“岂有此理，韩瑗来济不是爱贬官安排，那就统统贬官，一起贬到地方去!”
其实这古代并没有这么发达的交通，要说攻打长安，从桂林来那还差点远呢，傻子才这样干，可李治一方面作为皇帝，至高无上的权利，是不允许别人挑战的，一点风吹草动本来就容易狐疑，另一方面他也对韩瑗和来济和褚遂良是一个耐心。没工夫陪他们玩要挟皇上的把戏，爱哪哪玩去。
这时候韩瑗和来济一被贬官，他们的位置就空下来了！许敬宗理所应当的补缺了，做了来济的位置成为门下省侍中、监修国史，封高阳郡公，唐朝审批文件都是经过中书省起草，再经过门下省审核。李义府这时候做了中书令，武皇后的意志贯彻起来就更加方便了！
到此为止，反对派，被清理了三个出去，这时候，支持派也进来两个。还有一个大鱼长孙无忌在朝中呢！始终不得李治和媚娘的欢心。
长孙无忌的命运又该如何呢？
虽然长孙无忌还安安稳稳的在朝中做官呢！可面对他的一张天罗地网，正在向他锁紧。
武媚娘见韩瑗和来济已经被收拾掉了，心情大好，见到李治笑道：“皇上今日天冷，可臣妾心中暖烘烘的!”
李治笑道：“哦?”
媚娘道：“皇上终于可以扬眉吐气了，当一个真正的一言九鼎的皇上了！”
李治笑道：“难道媚娘的九郎，一直不是一个一言九鼎的皇上么？媚娘朕答应你的事哪一件没有办到?”
媚娘笑道：“皇上此言差矣，皇上在这之前是好丈夫，是好皇帝，答应媚娘的事也都办到了，只是皇上做的太不痛快了！被权臣把握在手里，当小人使呢！媚娘看不惯，今日韩瑗来济便贬走，媚娘高兴啊！”
李治笑道：“媚娘，如此说来，你果真是朕的知心人啊！”
媚娘笑道：“可不是，皇上高兴不高兴，媚娘理应知道。何况媚娘爱慕皇上，崇拜皇上，自然心之所系。”
李治笑道：“可是媚娘，如今朕还有一大心头大患啊！”
媚娘笑道：“皇上，可是为了舅舅，亲情难舍?”
李治点