拥护你，你生什么气呢！”
段听了觉得也有道理，四月七日曾一度回到北京来。什么事都没干，反而一直被安福系的人包围，报告他的都是一些恼人的消息，一气之下他于八日又回了团河。
奉系和直系虽然口里不讲倒段，但他们深知，不搞倒段祺瑞他们将一事无成。而要倒段就要付诸行动，就要有实际行动者，这个使命自然而然地落到吴佩孚身上。
吴佩孚的第一步行动就是撤防北归。
三月上旬，吴佩孚派人把他部队的眷属七百余人护送北归，下令禁止兵士不得无故请假，不得向商人赊欠，不许擅取民间一草一木。并电请张敬尧准备派兵接收直军的防地。其实他已暗中和湘军有约，一俟撤防，就由湘军来接防。
段祺瑞知道此事态严重，三月十八日他秘密地来到保定，请曹锟制止吴佩孚自动撤防。
同时又授意北京附近的驻军五个师长曲同丰、陈文运、魏宗瀚、李进才、刘询等联名通电，借口营房不足，拒绝直军吴师移驻北京。
这时吴佩孚已派参谋王伯相到北京，料理驻兵地点。王伯相到北京后便把实际情形电吴，所有兵房都被边防军驻守，吴为之大愤。
吴佩孚衡阳撤防是个极重大的事件，不但对当时国家局势的走向影响极大，对吴本人的人生也具有决定性作用。
当时局外人都替吴担心，认为他孤军久戍，要从数千里外冒险北归，实在是一个大胆的尝试。可是他却从容不迫，就像关云长千里走单骑。
其实对于撤防问题，吴佩孚是经过缜密的考虑的。由衡州到保定虽然是一条漫长的路，但只有张敬尧的地盘属皖系的势力范围，而吴佩孚根本不把张敬尧放在眼下。由长岳过湖北到河南，是王占元和赵倜的地区，王、赵都已加入八省同盟，一般不会遭人算计。