主持朝政的王允打算削弱凉州军人的权力，于是，凉州军人在李傕、郭汜、樊稠的带领下纷纷造反，攻打长安，击败吕布，杀死王允。北地太守张辽（北地位于凉州，在吕布向东逃亡之前，张辽就已经被朝廷授予此职）跟从吕布向东奔逃。在兖州，吕布集团又吸收了陈宫等人，并在此处鏖战曹操，战事持久而惨烈。吕布集团曾数次战胜曹操，一度将曹操打得仅剩1万余士兵。后因蝗灾大起而各自罢兵。休整之后，曹操击败吕布。张辽又随吕布前往徐州。
建安元年（196年），吕布夺取徐州，自领徐州牧。张辽领职为鲁国的国相，时年二十八岁（古代用农历记录虚岁。农历的28岁为公历的27岁）。
建安三年（198年），吕布的部下奉命用金子购买军马，但在途中，金子都被刘备军队抄掠走了。张辽虽然与关羽交好，但依然奉命出战，与中郎将高顺一起攻打刘备军队。刘备军向曹操求援，曹操便派遣夏侯惇救援刘备。高顺、张辽先是共同击败夏侯惇，随后又共同击溃刘备。
此前，曹操正在亲征张绣。在高顺、张辽击溃刘备之后，曹操停止攻打张绣，转而东征徐州。吕布亲自固守下邳城，被曹军包围。
建安三年十二月癸酉（199年2月7日），吕布的嫡系将领侯成、宋宪、魏续三人绑缚陈宫向曹操投降，并打开城门使得曹操军队急速冲入下邳城。然后，曹操使吕布彻底破灭于下邳城中。然后，张辽率领自己的军队归降曹操（同一时期，至少有5篇类似的史书记载可以共同论证，张辽的投降时间晚于吕布的下邳破亡。《资治通鉴》记载，在曹操对下邳城内的投降者们以礼相待之后，张辽率军投降）。曹操将张辽拜为中郎将，并赐爵关内侯。而张辽的鲁国国相的职务则由毕谌来接替。
建安五年（200年），官渡之战爆发。袁绍首先派兵袭击白马。曹操依荀攸之计，亲率军队救援白马，张辽与关羽作为前锋，击破颜良军队。在官渡之战的数次战斗中，张辽数有战功，迁裨将军。
同年十月，袁绍主力溃败后，曹操另派曾经领有鲁国的张辽去安定鲁国诸县。这是因为曹操的兖、豫之地在袁绍大举攻曹之时，有非常多的郡县投靠了袁绍。
劝降昌豨
动漫游戏版张辽
动漫游戏版张辽动漫游戏版张辽
23
张
动漫游戏版张辽
建安六年（201年），张辽与夏侯渊同围昌豨于东海郡，历经数月，粮秣将尽，众人商
…。。