既然死里逃生,李渊更是加紧了造反的准备。要造反就必须打仗,要打仗最关键的就是两样,一个是兵,一个是粮。太原是边塞重镇,粮草不成问题,但是兵员就很成问题。隋炀帝给李渊的兵员额度只有数千人,靠这点兵马想要造反是不可能的,必须招兵买马。可是李渊身边的两个副留守都是隋炀帝的心腹,责任就是监视李渊,因此李渊无法明目张胆地招兵。
就在李渊蠢蠢欲动的时候,马邑那边却抢先举起了叛旗。马邑的鹰扬府校尉刘武周杀了太守王仁恭,公然造反作乱,在勾结突厥人击破了雁门的朝廷讨伐军之后公然称起了皇帝。这下帮李渊解决了一个大难题。他立刻召集将佐,对他们说:“刘武周占据汾阳宫,我们却不能制止,论罪该当灭族,怎么办?”他的将佐多是庸人,遇到这样的大事,只能唯李渊马首是瞻。李渊说:“朝廷用兵,行止进退都要向上级禀报,受上级控制。如今贼人在数百里之内,江都在三千里之外,加以道路险要,还有别的盗贼盘踞,靠着据城以守和拘泥不知变通之兵,以抵抗狡诈流窜的盗贼,必然无法保全。我们现在是进退维谷,怎么办才好?”王威等人自然听得出李渊话内的意思,他们也没别的办法,只能说:“您是宗亲又是贤士,同国家的命运休戚相关,要是等着奏报,哪里赶得上时机;要是能平灭盗贼,专权也是可以的。”李渊佯装出不得已而听从的样子,说:“既然这样,就应当先征集军队。”他命令李世民与刘文静、长孙顺德、刘弘基等人负责募兵。由于此事早就开始运作,因此百姓们纷纷投奔从军,十天内就有近万人应募。李渊还秘密派人去河东召李建成、李元吉,去长安召柴绍来太原共举大事。
虽然李渊成功地让王威和高君雅同意他进行募兵,可是之后的行动还是让此二人发现了破绽,因为负责招兵的长孙顺德和刘弘基等人都是逃避征高丽之役的逃犯,让逃犯来负责招募兵士,其中的猫腻不问可知。王威和高君雅当时就跟一个叫武士*的人说:“长孙顺德和刘弘基都是在逃案犯,他二人怎么能够带兵呢?不行,我们要把他们抓起来。”武士*是一代女皇武则天的父亲。当时是李渊幕府中管兵器仪仗的幕僚。武士*本来是个商人,家中世代经商,他为人八面玲珑,非常喜欢结交朋友。隋炀帝崇尚奢靡,大兴土木,武士*立刻从中发现了商机,于是专门从事贩卖木料的买卖,一下子就发达了。当时商贾虽然有钱,但社会地位却十分低下,武士*有了钱后想摆脱这个出身,于是弃商从军。从军是科举考试开始前寒门子弟上升的重要途径。由于其家中富有,因此通过一番运作,进入军队就担任了鹰扬府队正,成为一个低级军官。在这个时期他认识了李渊,当时李渊领兵讨伐盗贼,多次入住他家,二人关系十分融洽,等李渊到了太原之后他就入了李渊的幕府。但是武士*毕竟是商人出身,生意人的特点是尽量不得罪任何人,因此他跟王威和高君雅的关系也很好。具体好到什么程度呢?后来李渊有句话说,武士*你跟王威当年是一党的。因此当王威了解到负责招募士兵的统领居然是逃犯时,便会跟武士*商量。武士*跟王威交情好归交情好,大势在谁一边他还是看得很清楚的。他劝王威、高君雅轻易不要动李渊的人,后来倾尽家财帮助李渊起兵,从而在战后得封高官,可见武士*对形势的判断是多么明智。
可是王威等人却没有武士*那么明智,他们居然开始谋划怎么对付李渊。此时的太原城内已经被李渊整理得如铁桶一般,从上到下几乎全都是李渊的亲信,于是二人想了一个法子。山西多旱,祈雨是每年初必不可少的仪式,他们邀请李渊在晋祠主持祈雨仪式,预谋在这个仪式上趁李渊不备突然发难,将之诱捕。可是还是那句话,“君不密则失臣,臣不密则失身,机事不密则害成”,本来很不错的计划就坏在泄密上了。当时有个人叫做刘世龙,是晋阳的乡长,通过裴寂的介绍跟李渊结识。刘世龙感觉李渊丝毫没有世家大族的架子,很是感佩。所谓“士为知己者死”,李渊身为上位者却对刘世龙这样的小人物倾心相待,刘世龙当然记在心里。不过此人也是一个八面玲珑的角色,跟王威、高君雅的关系也挺好。恰巧王威、高君雅等人预谋在晋祠搞兵变,而身边又没几个真正值得信任的人,结果就找上了刘世龙密谋,刘世龙回头就向李渊告了密。
李渊的手腕之狠辣远非常人可比,此时他手中有人、有兵,已经占据了绝对的优势,得到刘世龙的消息之后,毫不犹豫地就抢先发难。他派李世民带兵在晋阳宫之外埋伏,让刘文静指使人突然诬告王威和高君雅暗中与突厥人勾结入寇,然后就将他们一股脑抓了起来。事有凑巧,两天之后突厥数万骑真的向晋阳打了过来。李渊无力抵抗,只能耍了一招空城计。他把四周城门统统打开,来迷惑突厥人。突厥人派了前哨从北门到东门一番侦察,什么情况也没有得到,于是犹豫着不敢大举入城,只敢在城外劫掠。城中人都相信王威和高君雅真的勾结了突厥人,于是李渊顺理成章地处死了这二人,将隐患消灭在了萌芽当中。
在处理了身边的隐患之后,先前造反的刘武周又开始成了李渊心腹大患。首先,刘武周和他的军队是朝廷正规军出身,不是一般丝毫未受过军事训练的盗贼。其次,刘武周的称帝是一个明确的政治信号。在隋末除了众所周知的“李氏为天子”这个预言之外,还有一句叫做“刘氏主吉”的预言,此预言在大业初年就已经被童谣传唱,歌曰:“白杨树下一池水,决之则是刘不决则为李。”这使得刘武周的称帝又带上了一层天命的色彩,大大地降低了李家起兵的大义名分。更为可怕的是,刘武周与突厥的关系匪浅,凡是领军出战必然有大批突厥兵马助阵。在其起事之初被隋朝平叛军队包围在马邑城内的时候,就是突厥人突然杀到为他解了围。另外,马邑就在太原正北不远,这样一个强大的势力就在不远的北方虎视眈眈,等于是将一柄利剑悬在了李渊的脑门顶上,让李渊夜不安寐。
在这种情形下,与突厥人搭上关系就变成了李渊起兵之前的头等大事。对李渊来说,臣服突厥的好处有三,第一是能斩断刘武周的臂助,让李渊西进长安时后方不至于起火。历史上正是因为李渊适时与突厥签订了和约,后来刘武周错过了进攻太原的最佳时机,使刘武周虽然攻下了太原,但是李渊在长安的根基已固,再没有初起兵时的后顾之忧;第二是能够获得突厥人的帮助,当时突厥人战斗力之强悍就不用再说,更重要的是突厥人有大量的马匹,能够增强李渊军队的战斗力。当时刘文静一次就从突厥带回了两千匹马,此前后还与突厥进行了大量的马匹交易,这使得李渊能够组建起一支强大的骑兵部队进行西征;第三则是能稳定人心,在的北方边郡,几乎人人谈突厥而色变。李渊起兵干的是杀头的买卖,成功了也就罢了,一旦失败,自己赔上性命不算,还会连累家族。还在李渊与突厥书信往来的时候,就因为李渊不肯答应突厥公开反隋的条件,他手下的士兵还开始骚动,纷纷说,“唐公如果不能顺从突厥的条件,我们也不能跟从唐公起兵。”与突厥签订和约自然可以稳定人心。