谋反的牵连，被削职为民，发配到敦煌(瓜州)当了个边关小兵。
敦煌的守将刘方是个勇士，经常单枪匹马，深入突厥，抢了他们的牛羊而还，突厥人无法抵挡，只能任其来去。这人一直不待见史万岁，经常当面嘲讽他，辱骂他。
史万岁开始只想低调服完这个刑期，结果受不了此人的再三侮辱，请他给自己一套弓箭，上马向其表演驰射的功夫。
行家一出手，便知有没有，刘方一看史万岁的功夫，便叹服不已，从此改变了对史万岁的态度，还经常与史万岁一起联手深入突厥境内达数百里，威震突厥。
后来开皇三年时的那次反击突厥，史万岁应征调入大将军窦荣定的部下，与沙钵略可汗帐下的头号悍将阿波可汗在高越原（今天甘肃民勤西北）相遇，当时两军相持，实力相当，不敢贸然决战。
正碰上天又大旱，两军都缺水，甚至隋军最后到了刺马血而饮的地步，突厥军情况也好不到哪里去，但双方是麻杆打狼两头怕，都不敢主动在敌前撤军。
在这种情况下，两边谈判，说是两军对阵，多所杀伤，士卒何罪？不如双方各出一名勇士，靠单挑来决定胜负。
于是阿波可汗派出一名最勇猛的骑将，而隋军派出的是史万岁，两人阵前决斗，先是互相射箭，再是近身格斗，最后史万岁斩其首而还，突厥军为之气夺，于是阿波可汗与窦荣定军前盟誓，引军远遁，不再犯边。
此战中史万岁一举成名，其卓绝的箭术与高超的武艺不仅在隋军，甚至在突厥人中间也成为了传奇，只要一提到那个敦煌小兵，即使是最勇猛的突厥勇士也会为之色变。
后来史万岁因此战的军功拜上仪同、领车骑将军。在隋朝灭陈之役中，史万岁也参加作战，在杨素手下积功加上开府，他的官位又渐渐增高，声望又著称于时了。
王世充初次在和其他同僚们喝酒吹牛时听到史万岁的事迹，当时心下感慨，此人也算是几起几落，从大将到小兵，再从小兵到大将，只要有真才实学，还是让他等到了出头之日，想到这里，多日来怀才不遇的郁闷也就一扫而空。