多次提醒赵桓：“金人今冬必来。”
打不过，又谈不拢，怎么办？
唯一正确的选择，便是三十六计走为上计。
唐恪于是密奏赵桓，力劝赵桓避敌锋芒，早日离开东京前往洛阳或者长安，然后召集天下之兵，与金人开战。
唐恪甚至考虑到，京师诸军可能皆怀恋故土与亲眷，不一定愿意护卫赵桓离京，于是他又建议，速召四道总管领兵护卫而行。
赵桓一开始觉得唐恪言之有理，接受了他的建议。
不久，何栗前来奏事。
拿不定主意的赵桓，向何栗说起了唐恪的建议。
何栗一听，坚决反对，说：“即使当年周室东迁，也没有唐恪这个建议过分。这就好像不肖之子，要将父祖遗留下来的田宅全都卖掉一样。”
赵桓身旁的内侍们也不赞成唐恪的建议，他们都不愿意离开东京。
赵桓见众人都反对离京，幡然而改。
因此，当唐恪再次催促赵桓赶紧离京时，赵桓很生气，并狠狠地用脚跺着地面说：“朕当死守社稷！”
恰在这时，侍御史胡舜陟趁机上奏，弹劾唐恪与聂昌。
胡舜陟说，唐恪智虑短浅，不能经画边事，今国势日蹙，诚不可以备位。又说，朝廷若继续留用唐恪与聂昌，则所有政事不修，威刑不振，人材无一可用，将士不肯用命。
（没过多久，胡舜陟就改口建议赵桓逃出东京，前往洛阳或者长安避难，所以，胡舜陟弹劾唐恪的话，其实是乱弹。）
汴梁城中的军民这时也普遍认为，唐恪是一个俗吏，昏懦无能，人们甚至都想找机会揍唐恪。
有一天晚上，唐恪乘轿外出，被百姓发现。
百姓皆向唐恪抛砖扔瓦，甚至将他照明的灯笼都打破了。
在卫兵保护下，唐恪弃桥骑马，才得以逃脱。
回家后，唐恪当即上书请求辞职。
赵桓觉得，唐恪已失人心，不适合继续担任宰相，遂免去少宰职务，让他担任观文殿大学士、中太一宫使兼侍读。
唐恪罢相了之后，赵桓任命何栗为门下侍郞，成为准宰相。
经过赵桓重新调整，朝廷新的执政大臣分别是：门下侍郞何栗、同知枢密院事孙傅、中书侍郎陈过庭、尚书右丞李回、签书枢密院事曹辅。
（尚书左丞冯澥，此时被完颜宗翰留在军中。）
现在唐恪已罢相，何栗重回朝廷，并成为准宰相，孙
…。。