威出身于江淮之地的贫苦家庭，从小就因为生活贫困落草为盗，他与辅公祏是生死之交，后来二人也是一起聚众为草莽，在江淮之地也算是小有名气的盗贼团伙。
当他们听到王薄在淮阳郡做无向辽东浪死歌起事的消息后，毫不犹豫的立刻率众来投奔，只是在王薄麾下不久杜伏威就认为王薄难以成事又率部南下，在淮南一带劫掠自称将军。
隋江都留守派校尉宋颢率兵来讨击他，杜伏威在与之交战时佯装不敌败走，把隋军引到芦苇中，然后顺风纵火大败之。
此后杜伏威又兼并了另一支由赵破阵率领的部伍，从此他兵势甚盛力量得到进一步的发展，不久隋将陈稜率精兵八千攻讨杜伏威，结果也是大败而归。
于是杜伏威乘胜攻占高邮、历阳等地，自称总管，又分派诸将四出经略，江、淮间的小股义军也都纷纷归附，于是钟离、庐江、历阳等郡纷纷被杜伏威占据。
这时在江淮和江南实力比较大的除了杜伏威之外还有李子通和沈法兴，另外各地还有其他的造反势力存在，整个隋帝国已经被叛乱搅乱，只需要那么一下就会彻底倒下。
大河以南的义军蓬勃发展，而大河以北的窦建德却在这时被杨义臣和薛世雄联合攻打的接连败退，窦建德率领数万大军一直退到河间郡，终于被两人率领近十万隋军包围在城内。
可是不料就在攻城将破之时，博陵郡的夏军居然突然渡过滹沱水南下，将杨义臣、薛世雄击败，原来窦建德早就跟夏军取得了联系，用大量的条件换来夏军的出手相助。
随后窦建德将河间郡交给了这支夏军，自己则是率军去追击杨义臣、薛世雄所部，窦建德这时还不知道三齐之地的夏军这时也渡河北上夺取了渤海郡，这样涿郡的夏军已经跟三齐夏军占领的地盘彻底接壤了。
且不提夏军，这时兵败逃走的杨义臣和薛世雄两人麾下仅有不到两万众，不过一旦给了他们足够的时间，占据朝廷大义的他们很快就能招募到大量军队，这是窦建德不愿意看到的。
杨义臣与薛世雄两人率败军一直逃到襄国郡才停下来，不等他们喘口气窦建德率领数万大军就追了上了，于是两人继续逃往魏郡，北面的郡县纷纷又投降了窦建德。
这时薛世雄建议退兵回到河东招募大军然后再来攻打窦建德，不过杨义臣却以为大河以北还有上党、长平、魏郡三个郡在隋军手里，而且南滨大河、北阻太行，足可以为天险据守，等到日后反攻也是很重要的基地，最好就地防守。
…。。