纪灵虽说手握三万大军，但始终只是袁术的手下。是否放过刘备，其实纪灵说了不算，这得袁术点头才行。
灵等闻布至，皆敛兵不敢复攻。布於沛西南一里安屯，遣铃下请灵等，灵等亦请布共饮食。---《三国志》
作为一个成熟的军事集团，在遇到如此棘手的问题时，他们内部肯定是开了大会商量过了。给纪灵的权限到什么程度，袁术也肯定是交过底了，我猜测大致情况应该是这样的。
纪灵本来是要来灭了刘备，可是听说吕布来了，所以按兵不动，前去通知了袁术。袁术立刻和手下的谋士团队们开了个会，商量该如何处理这件事。于是他们得出了这么两个结论：
第一，如果吕布有很明显的偏袒意图，那么纪灵你就可以做主撤兵，因为袁术集团暂时不愿意得罪吕布。
第二，如果吕布只是纯粹做个中间人，那么纪灵你可以随机应变，是当场和刘备厮杀还是回去后再动手，你看着办。
那纪灵肯定是要以这两个方案作为基本准则，看看吕布什么态度再说话。结果吕布一上来，就表态了：
布谓灵等曰：“玄德，布弟也。弟为诸君所困，故来救之。布性不喜合斗，但喜解斗耳。”---《三国志》
完了，这事儿不好整了。按照袁术给出的两个方案，很明显现在纪灵只能选择第一种方案，所以说纪灵土兵，压根就不是纪灵自己的主意，而是袁术在背后操控。
大家互相给个台阶下罢了。
纪灵说到底跟刘备没有什么血海深仇，他只不过是给袁术打工的而已。所以没必要在吕布这儿冒着极大的风险跟刘备死磕。
在吕布明显偏袒刘备的情况下，纪灵又得到了袁术的命令，不要得罪吕布。那纪灵这个打工仔，还操什么主公的心思呢！该吃吃该喝喝不就行了嘛！于是出现了戏剧性的一幕：
明日复欢会，然后各罢。---《三国志》
也就是说纪灵在吕布这儿，吃了不止一顿酒。第二天就行了还要再吃喝，可想而知他们会在宴会上谈些什么。
纪灵可能会说：嗨！我跟玄德老弟，压根无冤无仇，现在又有神武的吕将军作保，这事儿妥了！就是您不说，我也知道该退军了！
刘备摸了摸自己的大耳朵，也笑嘻嘻地表示：纪灵老兄，我看你一表人才，颇有报国之志，要不我们找片桃花林拜个把子如何？