耿耿于怀。因此，他做出了一个决定，全军开拔，与义军主力会合。此时义军主力在王自用的带领下，被迫南下，在山西南部的稷山、闻喜一带活动。
高峻山得到高迎祥要移师南下的消息，连夜赶往临汾，劝说高迎祥不要离开平阳地区，并向高迎祥提出了以平阳地区为根据地，逐步发展壮大的战略方针。
高迎祥哪里听得懂什么根据地，他只知道不能远离义军主力，否则自己就会被边缘化，就会成为孤军，这次他没有被众首领推荐为盟主，就是一个很好的证明。
高峻山理解不了高迎祥此时的心境，所以说服不了高迎祥，只好请求最后撤离，为高家军殿后，高迎祥同意了他的请求。
高峻山请求殿后，目的是想拖几天再走，看看有没有转机不走，如能不走，慢慢地治理洪洞，然后扩展壮大自己的势力。
高峻山后来才明白自己想错了。在当时，几百几千的人马是很难单独立足的，只要你成了孤军，很快就会被蜂拥而至的明军所剿灭。因为高峻山马上就要面临这种局面。
高迎祥走的是水路，从李自成的驻扎地襄陵出发，顺风顺水一路南下，他带走了临汾大量的物资，把所有的船只都装得满满当当，没有给高峻山留下一条船。
就在这年的初夏，朱由检不但调动了曹文诏，还调动了宣大总督张宗衡，参将李卑、艾万年等多路关中兵马增援山西。
高迎祥走了没两天，曹文诏、张宗衡的两路人马，近八千人，就杀入了临汾，切断了高峻山南下道路，与此同时，山西巡抚宋统殷的二万人马，正在对洪洞形成包围的态势。