广一面派皇叔杨林带领大军镇压各路义军，一边于612年亲率大军开始了第一次征讨高句丽。
由于隋军精锐都被杨广调走，杨林带领的官军远弱于义军，因此义军控制范围越来越广，起义队伍越来越大。
同年九月，因杨广指挥不当，在损失三十万军队之后撤回了洛阳，回洛阳不久，杨广再次下令征兵天下，准备第二次讨伐高句丽。
一时间，大江南北义军四起，辽东杜彦冰、王润，山东李德逸、韩进洛，灵武人白榆，余杭杜伏威等人纷纷起义，再加上早已造反的河北窦建德、瓦岗翟让等，大隋江山遍地开花，乱成了一锅粥。十八路反王、六十四路烟尘自此开始成为了历史主角。
宰相苏威等人劝说杨广，攘外必先安内，在贬谪了几个大臣之后，再无人敢上书言事，同时被贬出京的还有萧瑀，去崇州做了太守，临行前写信向高不二问计，高不二让他练兵、坚守、待变。
杨广为了平叛，命令各地太守、刺史李渊、杨玄感、王世充、宇文化及等等就地练兵平叛，李世民也被放回太原，协助李渊平定陇西之乱。
在杭州的高不二也收到杨广御令，命他带兵讨伐不臣，高不二从西北调来五千兵马，加上他在杭州自练的七八千人，组成了一万三千人的队伍，开始参与平叛。同时秘密将庄子上人员转移到了海外他占领的海岛上，以避战祸，但是三位夫人却留了下来。