高怀远选择了乘船而下，如此一来，省去了不少的时间，由嘉陵江入长江，便可一路返回楚州登岸，也省去了不少的力气。
一路上他以带孝之身为由，谢绝了沿途官员的接待，轻舟之下，没有用多长时间，便回到了楚州。
在回乡的路上，他终于收到了一个久等的消息，成吉思汗果真已经病死在了西夏的灵州，死后秘不发丧，直至西夏末帝李晛出城乞降，蒙古人立即斩杀了李晛以及众多党项皇族成员，并且入中兴府大肆屠城，至此西夏国彻底覆灭。
不过让高怀远有些意外的是出了这样一个事情，西夏国一些兵将以及百姓，不愿意被蒙古人奴役，他们蜂拥退入了吐蕃境内，沿着被李若虎打通的那条通道，居然一路逃入到了宋境之中，以求得到宋人的庇护。
岳琨当即下令在阶州城附近开辟了一块地方，专门收容这些西夏逃兵以及难民，为其提供食宿，并且效仿当年孟宗政在枣阳的做法，将这些逃入宋境之中的西夏人之中的青壮收编组成了一支忠武军，隶属于利州路都统司。
但是岳琨的这种做法立即招致了吕伟焕的极力反对，并且下敕令要求将这些西夏遗民尽数赶出宋境，不得岳琨收容他们，理由很简单，因为西夏国在北宋期间，一直和北宋为敌，虽然南宋之后，两国不再接壤，但是宋人还是敌视这些西夏人，怕这些西夏人入宋之后，会惹出麻烦，另外一个就是怕因为收容这些西夏人，招致蒙古人的报复，还消耗利州的资财。
高怀远收到了这个消息之后，立即大怒，在船上便大骂吕伟焕短视，当即便修书两封，一封送给吕伟焕，告诉他最好还是收容这些西夏遗民，因为假如他不收容这些西夏遗民的话，这些人只能被活活饿死，或者被赶入吐蕃沦为吐蕃人的奴隶，那样的话有损大宋的声誉。
另一封他派人送给岳琨，令岳琨只管按照他的方法继续做，大不了让这些西夏人续发，改成汉人，打散他们，以汉人的身份令其在阶州一带屯田，为利州都统司提供粮秣。
想了一下之后，高怀远又立即写了一份奏疏，直接派人送入京城，交给赵昀，力陈收容这些西夏遗民的好处，告诉赵昀眼下蒙古人已经是大宋的敌人了，敌人的敌人便是朋友，更何况这些西夏人之中，绝大多数都是汉族人，这些西夏遗民对蒙古人怀有刻骨铭心的仇恨，只要善加利用，便能很快获得一支强兵，对于以后光复中原故土，将会有很大的益处，希望赵昀恩准令利州路扩大收容西夏人的力度，着令吕伟焕收回驱逐西夏遗民的成命。
…。。