跟随祖逖，赤心报国，然后自己继续向南跑，前往睢阳去依附司马裒。
河阴弃守的次日，刘乂率领着大群老弱残兵，赢粮负草，也抵达了河阳，与刘丹会合，随即继续东进，去攻怀县。怀县守将郭默就是河内本地人，出身低微，因为壮武有力，弓马娴熟，而被太守裴整召为督将。其后裴整为刘聪、刘曜等击破，降胡而为尚书左丞，郭默率其残部筑坞自保，并且带着数条渔船抄掠东逃的行旅，渐成巨富，四方流民来投，所部三四千人，进屯怀县。
但是这样的流民武装，战斗力是非常差的，根本难当胡汉精兵——况且本与自己成犄角之势的赵固又降了，荀组又跑了——于是被迫放弃怀县，渡河南投荥阳京县的李矩。刘乂、刘丹兵不血刃，便得以镇定河内，旋即在扈亭附近渡过黄河，进入荥阳郡中。刘乂要去攻打京县，却被刘丹阻止了，说：“不可。李矩善战，今又有郭默为助，仓促难下，倘若裴该率军到来，我等难免腹背受敌。不如遣一军屯荥阳以监视京县，主力继续东进，控扼阳武、封丘，寻机与裴该决战为好。”
大军就此浩荡向东，可是当日晚间，忽有哨探来报，说前方兵马阻路。刘丹惊问：“得非徐州兵乎？”来得还是真快啊。哨探回禀道：“不是徐州兵，看旗号似是……乞活。”