狠角色王铎上位宰相之后，以同样的方法干掉了韦保衡。
外贬贺州刺史，再贬澄迈县令，最后坐罪赐死。
王铎执政后，非常欣赏孔纬，提拔孔纬担任兵部侍郎，孔纬迎来了春天，但王铎也有政敌，就是田令孜。
当时王铎手握兵权，担任剿总负责镇压起义军，田令孜很嫉妒，但是却不敢动手，于是跟僖宗吹枕边风，说王铎密谋不轨，当时王铎正在洛阳跟朱温打仗，僖宗起了疑心，下令解除王铎兵权，于是河南会战失败。
王铎被解除兵权之后，以兵部侍郎担任王铎副手的孔纬也遭牵连，被调到礼部雪藏，但时任另一位着名宰相也很赏识孔纬，那就是郑从傥，在郑从傥的强力支持下，素来嫉恶如仇的孔纬出任吏部考功郎中，当上了纪高官，不久之后，河东兵变，李克用寇代犯境，郑从傥临危受命出任河东节度使，郑从傥离开朝廷之后，韦昭度当权，韦昭度很不喜欢孔纬。
当时韦昭度分管吏部，孔纬则是考功郎中。
我们说过，孔纬嫉恶如仇，公私分明，处事果敢，不畏权贵，当时向孔纬为亲友谋官的达官显贵能组成一个加强连，但都被孔纬拒绝，送来的表决信看都不看一眼。
这些世家子弟就找自家人告状啊，韦昭度和杜让能作为首都世家代表，于是就把孔纬赶出了吏部，同期被扳倒的还有另一位宰相，就是来自京兆王氏的王徽，懿宗朝外戚出身。
王徽虽然是既得利益集团一员，屁股却是歪的，不想着为自家亲戚谋官，却总想着老百姓，整天念叨着中兴大唐就算了，还时不时上谏告状，不是告发宰相就是骂宦官。
结果得罪了杜让能，被杜让能进谗言贬去一个穷州做刺史。