就在李渊处心积虑地准备出兵之时,隋炀帝杨广正在江都醉生梦死。终炀帝一生,他对于长安的恶感要远远大于好感,这种不可思议的感情其实源自其父亲隋文帝杨坚。杨坚当年篡了北周的位,自己当上了皇帝,可是他这个皇帝的位子坐得却不是那么稳。杨坚的父亲是上文提到过的杨忠,在西魏的“八柱国”军事系统中是一个大将军,并没能当上柱国,而杨坚在朝中也并没有建立让人信服的功业,能够篡位成功实在是得益于当时北周皇帝年幼,因此无论是资格还是实绩,杨坚均不能让当时的关陇军事贵族集团的贵族们服气。面对如此情况,杨坚只有以刻薄寡恩,大杀昔日同僚来稳固自己的统治,可是这些军事贵族盘根错节,互相之间多有联姻,隋朝的统治也依然需要他们的帮助,因此不可能完全清除干净。杨坚引入了科举制度也是为了抵消关陇军事贵族的影响,但是在当时这仅是杯水车薪,完全不顶用。父亲对关陇军事贵族的猜忌也深深地影响了儿子,隋炀帝的内心深处也对于处在关陇心脏地带的首都长安有着很大的恶感,因此在巡边失败之后,他并不是回到长安重整旗鼓,而是去了江都破罐子破摔。隋炀帝觉得长安不好,可是李渊却正相反。李渊是西魏八柱国李虎的后人,是顶级门阀李家的家长,在关陇军事贵族集团中的号召力数一数二,因此他起兵后的目标就是攻取长安,以关中为基业,夺取天下。
大业十三年(617),李渊正式开始出兵,但是他出兵的方向却并不是长安,而是太原周边的西河郡(治所今山西汾阳)。西河郡的郡丞高德儒,不听从李渊的命令。李渊此时干的是杀头灭族的买卖,自然不会允许自己的太原老巢附近有任何隐患。他结交突厥便使得刘武周不敢轻举妄动,这个西河郡不过孤城一座,身后又没有突厥这样的大后台,正好撞到了李渊的枪口上。此外从太原去长安的最佳路线是沿汾河向南推进至晋南,再渡黄河向西,西河郡正好挡在了李渊进军关中的路上,李渊更是必须拔掉这个钉子。进攻西河郡的难度不大,李渊便派了李建成和李世民哥俩练手,又派了太原令温大有从旁辅助,以防万一。此次军事行动是大军入关中的一次预演,因此李渊军上下都非常重视。李建成、李世民这哥俩到了军中可没有一点公子哥的德性,当时李渊的部队大部分都是新募之兵,军士们都没有经过系统的训练。于是二人与士兵们同甘共苦,遇到敌人则是身先士卒。部队平日的所吃所用都向老百姓公平买卖而来,从不强行征拿。军队中有些士兵手脚不干净,他们的处理也非常宽容,他们赔偿老百姓的损失,但是也并不苛责偷窃的士兵。于是百姓与士兵都对李家非常敬服。有了军队和人民的支持,一个小小西河郡自然轻易就被拿下。李家大军到了城下不过数日西河郡便被攻克,郡丞高德儒作为罪魁祸首直接被处斩。当然杀他需要一个借口,此时李渊又不是皇帝,不可能说是你高德儒不服从我的命令,所以要杀,于是就给他安了一个奸臣的罪名。这个高德儒以前曾是杨广的侍卫。有一次,他看到两只孔雀飞到朝堂之前,便去向炀帝谎报说发现鸾鸟(吉兆)。等炀帝兴冲冲跑去观赏时,孔雀早已飞走,也搞不清真伪。尽管如此,兴高采烈的杨广还是重赏了高德儒,并于孔雀落脚处修建了一座仪鸾殿来纪念。因此李世民就说他“指鸟为鸾”,用这个罪名杀了他。此次征讨,李家只处死了一个高德儒,所有的从犯一律被赦免。这种情形既显现了李家的雷霆手段,又不乏天恩雨露,让当地军民无不敬服。此次军事行动从出发开始,到凯旋太原,只不过用了区区九天。李渊喜出望外,高兴地说:“这样的军队,可以横行天下了!”
用软硬兼施的手段将太原周边的反对派彻底收拾了之后,李渊留下四儿子李元吉坐镇太原,发兵三万正式于大业十三年(617)七月初誓师向关中进发。
李渊出兵之后还不是很放心,率全军到了西河之后又搞了一个官职欢乐大派送,大发了一圈糖。只要来的全都有官做,一天就派发了上千个官职。所以有人说初唐官员之滥已经到了“柱国满街走,国公多如狗”的地步了。他在八字还没一撇的时候就这样大发官职,除了笼络人心之外,还等于是把那些接受他册封的人统统绑上了他造反的战车。如果他失败了,接受他封官的人哪个都好不了。只有拼死力帮助李渊得到天下,他们获封的官职才有用。
做完这些事情之后李渊率军穿越雀鼠谷,进入了贾胡堡屯扎。随后他遇到了大麻烦:他的军队被一场突如其来的连绵大雨给挡住了。此时李渊军前有虎牙郎将宋老生率军两万在霍邑(今山西霍州)挡住去路,又有左武侯大将军屈突通将骁果数万屯河东郡城(今山西永济西南蒲州镇)与李渊对峙。军中粮食不继,还有谣言说突厥破坏先前的协定,即将与刘武周联军攻打此时空虚的太原,因此官军都有了退意。以裴寂为首的将领们纷纷请求李渊暂时撤兵返回太原,稳守老家,静待时机。李渊的能力不能说不优秀,但是他身为顶级门阀族长几十年,天天都在皇帝的猜忌下生活,养成了事事谨小慎微的保守性格,部下的这种意见很对他的胃口,决定就此退兵。可是李世民却持相反的意见。他认为困难都是一时的,当前要做的是紧咬牙关冲过去,而不是遇到一点点困难就想着退缩。一旦退兵,恐怕我们以大义召集起来的军队就会散伙,回到太原也不过是贼寇的身份罢了。可是这番话李渊并没听进去,还是坚持要退兵。李世民没办法,于是去找李建成,希望两人一起劝说李渊收回成命。李建成虽然同意李世民的意见,但却认为此时已经开始撤军,事情已经无法挽回,还是服从命令吧。李世民却没有就此放弃,他一个人跑到李渊的帐前,此时天色已晚,李渊已经睡下,把守大帐的军士不让李世民进去。李世民居然一点不顾形象地就在帐外号啕大哭,李渊只能叫他进去问话。
李世民进来劈头就说:“要是撤兵,人心就散了,敌人如果在后面追杀,大家完蛋的日子也就不远了!我怎么能不哭?”李渊想想的确是这样,现在不是在过家家,而是在干造反的买卖,如果真的这样犹豫不决,可能下场真的会像儿子说的那样了。他这才醒悟过来,后悔不已。但是此时军队已经开始后撤了,他问李世民怎么办?李世民说右军此时刚刚整备好,还没有出发,左军也刚走了不久,追回来还来得及,于是立刻与李建成分头去追。结果半夜里他黑灯瞎火迷失了道路,走到了山谷中,马匹走不了山路,只好弃马步行追赶,终于追上了左军,和他们一起步行返回。