月，唐高祖李渊派秦王李世民乘冰冻坚硬，带兵从龙门渡过黄河，驻扎在柏壁，与宋金刚对峙。当时黄河以东的州县遭抢劫后，没有粮仓，百姓惧怕侵扰，聚居在城堡中，征集不到东西，军队缺粮。李世民发布王教晓谕百姓，百姓听说李世民率军前来，无不前来归顺，由近及远，前来的人日益增加，然后唐军逐渐征收粮食，军粮因此充足。于是休兵喂马，只命非主力部队的将佐找空子抄掠，大军则坚壁不战，宋金刚的势力因此日益衰落。
十二月，唐朝永安王李孝基采纳于筠等人建议，进攻吕崇茂。吕崇茂向宋金刚求援，宋金刚派遣手下将领尉迟恭、寻相带兵很快赶到夏县。李孝基腹背受敌，于是打了败仗，李孝基、独孤怀恩、于筠、唐俭、刘世让都被宋金刚俘虏。
联合突厥，驻扎黄蛇岭（今山西榆次北），兵锋甚盛。并州总管、齐王李元吉派车骑将军张达率步卒抵御，至则覆没。刘武周于是袭破榆次（今山西榆次）。五月，刘武周攻陷平遥。六月，占领介州（今山西介休）。唐高祖派遣太常少卿李仲文为行营总管，与左卫大将军姜宝谊率兵救援并州，被刘武周的将领黄子英击败于雀鼠谷（在今山西介休境）。唐高祖又派右仆射裴寂为晋州道（今山西临汾）行军总管，督军抗击刘武周。八月，裴寂至介休，宋金刚据城拒之，双方战于索原度（在介休介山下），唐军全军溃败，裴寂只身逃回晋州。刘武周势如破竹，进逼晋阳；李元吉连夜携其妻妾弃州奔还长安。刘武周又攻占了李唐的发祥地晋阳。十月，刘武周又派遣宋金刚南下攻陷晋州，进逼绛州（今山西新绛），占据龙门（今山西河津），攻占浍州（今山西翼城）。与此同时，夏县吕崇茂自号魏王，与刘武周相呼应；隋朝旧将王行本据蒲坂（今山西永济北），与宋金刚相联合。至此，山西大部尽归刘武周统辖，唐在黄河东岸只剩晋西南一隅之地，关中受到极大震动，甚至唐高祖都惊慌失措，颁发了“贼势如此，难与争锋，宜弃大河以东谨守关西而已”的手敕。