随着谏议大夫的撤销，迫使魏徵闲赋在家，褚遂良面如死灰，死气沉沉的哭丧着脸，魏徵看了一眼褚遂良什么话都没说，眼里满是失望。纵然李宽再三强调他保持好心情，魏徵还是没能忍住，厉声训斥：“你脑子装得是浆糊吗？你心里还有朝廷，还有陛下吗？我说你做官这么多年，连初心都忘了！”
褚遂良早已没了之前的趾高气扬，面对魏徵的训斥与指责，他无言以对。曾经是魏徵推荐，认为褚遂良书法写得好，而且有才能，德行也不错，现在魏徵才发现自己看走了眼。
身居高位的褚遂良，凭借着自己的地位及影响力，习惯了高高在上，原本那颗为国为民的心中染了颜色，功名利禄才是褚遂良的追求，这让魏徵失望透底，寄予厚望的褚遂良居然用这样的方式回报，魏徵如能原谅？
魏徵请命是因为谏议大夫中出了褚遂良，为了一己私欲居然做出诬陷于同僚的恶劣事情来，这让谏议大夫这个职位蒙受莫大的屈辱，魏徵是无脸面继续担任这个谏议大夫，与其如此还不如废除谏议大夫这个官职。
李世民望着垂头丧气的褚遂良，他的心更痛，痛得同时是愤怒。因为党仁弘的事情，刘洎本意并非如此，经过褚遂良的诬陷，李世民曾经亲自询问刘洎他有没有说过，刘洎承认自己说过，而不是褚遂良从中作梗诬陷的话，以致于刘洎锒铛入狱，反倒是褚遂良不仅没有惩罚，还受到表扬。
若非李宽提出来，李世民都不知道褚遂良做了这等丧尽天良之事，委以重任的大臣居然会陷害同僚置人于死地，这等狠辣果断的手段让李世民都为之胆寒。
此时，李世民才认识到李宽所言并无道理，给予谏议大夫太大的权力，以致于有些人心生傲慢，要是以后还发生的这样事情，最后背锅的还是他这个当今皇上李世民。
于是，李世民在魏徵赞同以后，毫不犹豫的选择废除谏议大夫制度。李世民打算削弱谏议大夫的权力，或是成为虚职，最后还是狠心废除了。紧接着，李世民深邃的目光中看不出任何的情绪，直视着跪地请罪的褚遂良，淡淡地说：“朕念你这些年兢兢业业，故免你死罪，不过你的德行太差，回府好好练字，多多修身养性吧！”
“罪臣谢皇上不杀之恩，自当修身养性！”褚遂良恭敬地谢恩，就算他后悔也晚了。当他一步错，步步错，不是没有机会而是没办法，褚遂良不得不继续一条路错下去。
“殿下，我还有事不明……”褚遂良失魂落魄的转身向外走，他知道自己这次犯错以后再也没有机
…。。