武都以为皇帝会起驾返回洛阳，但是后宫一位嫔妃家在张掖，恳求皇帝准予回家探亲，杨广一想也没多少距离了，便下令大军继续西进，去张掖。
此举获得 许多大臣反对，张掖距离西域很近，距离内地很远，补给也比较困难，为了大军安全，都劝杨广不要继续西进。
杨广道：“张掖乃咽喉之地，正是因为距离西域三十六国很近，可以就近召集各国国王开会，携大胜以震慑宵小，确保丝绸之路安全无虞，朕意已决，不得再劝，命令来护儿将吐谷浑贵族首领压至张掖，明正典刑，以威慑各国，命令各国国王必须到场，抗命者杀无赦。”
不得已，一方面从陇右调集粮食道兰州，另一方面兰州刺史奉命大索各地，为大军筹集粮草，一时间民怨沸腾。同年八月物资筹备好，杨广便率领大军继续西进。
大军行至距离张掖一百多里的扁都口时，有钦天监的官员上奏道：“启奏陛下，经臣夜观天象，不日将会有大雪降临，还请早做准备。”
此时已是夏天，居然有人来说天要下雪，杨广大怒，因为古文曾记载只有昏君当道之时，天时才会混乱，方会八月飘雪，杨广以为钦天监官员受人蛊惑，才会不着边际的瞎编乱造，编排自己，于是招来卫士，将钦天监官员五马分尸。
耽误下来，天色已晚，杨广不得不下令就地宿营，又命人找来当地百姓，询问可有八月下雪的情况。
有前车之鉴，去找人的官员率先交代找来的百姓，道：“见了陛下不可胡言乱语，如果陛下询问八月是否下雪，你就说从来没有过，如果敢胡言乱语，小心你一家人狗命。”
百姓对官员畏惧如虎，那里经得住吓，杨广得到了想要的答案，便让其领赏退出去，当晚杨广大宴群臣。
本来炎热的天气，谁曾想到了夜里子时，天气骤降，果如钦天监官员所奏刮起了寒风，下起了大雪，温度一下子降到了零下十几度，从没有经历过如此严寒的杨广君臣等一下子傻眼了。
杨广命令就地伐木取薪，但是去过张掖的人都知道，张掖所在一片戈壁，哪有这么多树木可供砍伐的。忍耐不住严寒的人群一下子就乱了套，将帐篷、被褥等一切可燃之物均点着取暖，奈何寒夜漫长，一晚上下去，居然冻死了三四万人，许多嫔妃纱衣轻衫的，哪怕将宫女的衣服扒掉也无法抵御严寒，冻死者十之八九。
翌日，杨广命令大军开拔，全速赶往张掖，又派人到张掖，命令守军为大军准备御寒衣物。一百多里走下来，人员又损失五六
…。。