八月中旬，沙哈鲁决定退兵，从破胡堡出关。
之所以选破胡堡，除了这个堡名让他讨厌外，还因为这边是洪武期修建的城墙，这会规模还小，历史上一直到成化和弘治年间才修缮，然后到喜靖和万历又加固。
此时沙哈鲁手上大概有三十六万大军，基本都是他的精锐主力，随行战马有五十万匹，其中不少都是带着粮草的。
如此庞大的队伍，无论进攻还是撤退，都是一个浩大的工程。
八月十六日，沙哈鲁大军往北去，不料刚到桑干河北支流，就发现河面上的桥被炸了。
沙哈鲁赶紧找来抓到的明人当地百姓，经百姓带路，发现往北能过去的三座桥都被明人炸毁。
这样他们要么想办法搭桥，要么绕道。
沙哈鲁进明境是想找明军决战的，辎重民夫，会搭桥的人都跟在阻胡堡后面，还没进来就被明军打崩。
这下他傻眼了，沙哈鲁只能绕道。
十七日，就在沙哈鲁带着大军往西绕向北时，哨骑报告十里外出现大股明军骑兵，好像是从大同方向来的。
沙哈鲁大喜，带领兵马掉头去与明军决战。
不料明军看到他们回头，立刻转身就跑。
沙哈鲁白跑了几十里还没追上，气的半死。
他又回头再绕道。
那股明军又跟了上来。
他派出大量哨骑去查探明军有多少兵马，但哨骑根本不是明军哨骑对手，很难靠近。
最后付出大量的死伤，总算稍微看到一些规模，估计明军有三四万人，且全是骑兵。
他肯定明军是从大同里出来的，可能还带着怀仁县的兵马，这是知道自己后退被堵，准备过来两面夹攻的。
果不其然，第二天他又接到消息，阻胡堡那边明军有三四万人（其实只有两万多骑兵）也往这边来了。
明军要与我们野战？
沙哈鲁觉的是明军兵马少，所以不敢和他野战，决定放明军两部汇合。
他带着三十几万多五十万多匹战马，慢慢吞吞往西走，然后绕向北，在八月二十日到达威远卫附近时，明军两部果然汇合到一起。
此时明军两部汇合后，全是骑兵，大概有六万多人，从阻胡堡过来的，还是一人双马，全是沙哈鲁部下的马。
沙哈鲁等明军汇合后，再次调头，想与明军决战。
明军又退。
沙哈鲁没办法，骂骂咧咧继续
…。。