建议被几乎所有大臣反对，在不收兵，贼兵就要攻进洛阳了，全家老小还要不要了，众文武大臣如何再敢在此消耗下去？
心生退意的杨广最终还是接受了退兵的意见，命令来护儿抓紧时间撤军，眼看着三年付出付诸东流，来护儿含泪撤军。
八月，自高句丽回撤的杨广，车架到达邯郸时，被杨公卿率领的义军伏击了，杨广仓皇回到洛阳，但是此时洛阳已经处在义军的包围之中，很不安全，于是杨广又带领文武大臣匆忙回到了西京长安。
远在平壤的高丽王高元，见隋军撤回了关内，便立马让人杀了杨广派来押解自己去洛阳的隋朝官军数千人，同时扣留了隋朝迁徙而来的百姓，再次发布文告反隋。
回到长安的杨广一面调兵平叛，一面等着高元来降。谁知这一等就是月余，等来的确是高句丽再次反叛的消息，这让刚愎自用的杨广如何能咽的下这口气，听闻消息杨广大怒，掀翻了御座前的案几，立马命令大将严装召集兵马，准备再征高句丽，但是此时的隋朝哪还有这个力量。
杨广穷兵黩武三年，三征高句丽，隋军三十多万人丧生，民夫损失巨大，天下几乎家家无男儿，留下的老弱之人耕地种田，收成连自身温饱都解决不了，易人而食的现象十处有四五处。
再加上各种频繁的徭役，给全国老百姓带来了沉重灾难，也让天下百姓对隋帝国到了无可忍耐的境地。
从第一次征伐高句丽，隋帝国就有人起义，直到三征高句丽，义军遍地开花，隋朝的统治直接崩溃、名存实亡，各地士族门阀割据一方，不服朝廷，开始加入反隋大军之中，为隋帝国的灭亡敲响了丧钟。