可陈后主放了麦铁杖，麦铁杖却并不怎么感恩陈后主。
不久隋军征讨南陈，麦铁杖居然跟来护儿一样，游过长江去参军。
麦铁杖这人也确实有本事，不但能跑还能打，他到杨素军中，屡立军功。有一次杨素派麦铁杖到江南侦察，他头戴草把，在夜间浮水过江，然后弄清了敌营情况后回报。后来又再次来敌营窥探，结果这下被捉住，被敌帅派了三十个兵押送他，结果押到半路，军士们吃饭，他就喊饿，人家解开手让他吃饭，这家伙一把夺了人家的刀，一把刀砍死了三十个押送敌兵，然后割下了他们的鼻子怀揣而归请赏。
因为打仗勇猛，麦铁杖在平陈以及后来的江南平叛之中升为仪同三升，只是他大字不识一个，后来江南平定，便让他退伍回乡了。
直到开皇十六年，大将军李彻欣赏他勇武，特征召他到京城任命他为车骑将军，仍随杨素北征突厥。
等到杨广继位，麦铁杖又跟随杨素征讨杨谅，每次作战总是身先士卒。之后当了两任太守，居然也干的有声有色，于是很得杨广赏识，最后居然一路升到了左屯卫大将军。
杨广重用麦铁杖自然是因为既能打又还能安民，而且这人虽然以前是跟着杨素的，可毕竟没什么根底，他还是比较喜欢用这样的寒门的。
麦铁杖对皇帝的赏识重用，也是十分的感激，他已经不再是当年那个十几二十岁时的麦铁杖了，那个时候的他是没有敬畏感恩之心的，只图江湖爽快。
“随我来。”
麦铁杖提起自己的大刀，便纵马上浮桥。
他很清楚的知道，如果不能在东岸抢下一块阵地来，那么今天的渡河只怕能成。而皇帝就在后面观战，今天就必须过河。
虎贲郎将钱士雄、孟金叉大声听令。
“叫吾三子来！”
麦铁杖三子都在军中，闻令而来。
“孟才、仲才、季才，你们一会换上浅黄色的衣衫，我久蒙国恩，今天应是为国捐躯的时候了。一会战斗肯定很凶险，如果我战死，你们将富贵。在忠与孝上，希望你们多努力。”说完，他让三个儿子在后随军。
钱士雄大声道，“请大将在西岸指挥，由我等冲锋陷阵即可。”
麦铁杖哈哈大笑。
“大丈夫的性命自有所在，岂能用艾炷烫鼻梁，用瓜蒂喷鼻孔，治黄不差，而死在妇人怀里呢？”
“陛下就在后面看着我们，今日，我当亲为前锋，为陛下冲锋陷阵！”
…。。