晋阳起兵之初，可以说是「三高」当道。
起事前，李渊杀了高君雅，
现在是西河郡丞高德儒、龙山县令高斌廉不愿随李渊起兵。
高斌廉派人向杨广奏报李渊起兵的消息。
杨广闻报大惊，敕命东、西两京严加防备。
代王杨侑接到杨广敕命，派宋老生率兵两万进驻霍邑，屈突通率兵数万进驻河东，阻挡李渊大军南进之路。
李渊对文武官员道，「龙山县近在咫尺，翻不起大浪，不足为虑。西河却挡在义军南行的路上，必须将其攻下。」
------
六月初四，李渊命李建成、李世民率军攻取西河郡，对外号称「义军」。当时文武官员还没有任命官职，军中将士都称呼他们大郎、二郎。
临行之前，李渊对李建成、李世民道，「你们还年轻，少不更事，先以西河郡看你们的表现，所有人都看着你们，你二人要勉力而为。」
李建成、李世民跪下回话，「家国之事，最重忠孝，我们定严守军令，兴仁义之师，一切按父亲大人的旨意行事，如有违犯，请以军法从事。」
李渊勉励道，「如果你们能说到做到，我就不再有所忧虑，望你兄弟二人能够不孚众望，言行如一。」
------
李建成、李世民所率军队刚刚募集，尚未进行整训。李建成向全军讲明军法之后，才出征向西河进发。
一路上李建成、李世民与将士们同甘共苦，遇到乡民晋献则共同分享，遇到警训则身先士卒。
与民则秋毫无犯，果菜时蔬非买不食，有士卒窃取民间物品者，即寻找物主照价赔偿，也不过分苛责窃取物品的士卒。
军士和百姓都对李建成、李世民心悦诚服。
------
到了西河城下，李建成、李世民不穿盔甲，亲自向城中军民喊话，言明所率军队乃仁义之师，不扰民害民，所做所行皆是为民请命。
义军驻扎城外，却不骚扰百姓，处处为百姓提供方便，城外有想入城者，无论男女老幼，全部放他们入城。城内军民见义军如此宽容大度，都想追随李渊，但是郡丞高德儒却仍是执迷不悟，他下令，城中军民都要誓死坚守西河城。
六月初十，义军架梯攻城，「义军」将士个个奋勇争先，纷纷登城而上。西河郡守军无人应战，司法书佐朱知瑾等人心向义军，从城上引兵进入城中，捉拿郡丞高德儒，将其送到「义军」营
…。。