在太原起兵之前，李渊早有取隋而代之的打算。他刚做了太原留守，就把太原看作自己的地盘。一方面，残酷的镇压太原以南历山飞领导的农民起义军，另一方面，又对北方的突厥讲和，巩固自己的统治地位。同时，还不断收罗人才，发展力量。例如，隋的右勋卫长孙顺德，右勋侍刘弘基，为了逃避进攻高丽，都亡命在太原，依附于他；左亲卫窦琮也因犯法而逃到太原。收罗这些隋朝的犯罪官员，显然是要和隋炀帝分庭抗礼了。
正当李渊向关中的进军途中，瓦岗军的首领李密致书于李渊，要求联盟，共同推翻隋炀帝。李渊回书，表面上极力吹捧李密，并愿意推其为天下盟主，但实际上是希望李密的瓦岗军继续与洛阳的隋军进行火并，以利于他顺利入关，坐收渔人之利。
他对其亲信说：“密夸诞不达天命，适所以为吾拒东都之兵，守成皋之厄，更觅韩、彭，莫如用密，宜卑词推奖以骄其志，使其不虞于我，(我)得入关，据蒲津而屯永丰，阻崤函而临伊洛，东看群贼鹬蚌之势，吾然后为秦人之渔父矣。”
非常明显，李渊不愿卷入中原一带各种势力的战争中去，他要到地势险要，社会矛盾较为缓和，又有较好的物质条件，还是关陇集团根据地的关中，坐山观虎斗，待别人两败俱伤的时候，他好坐享其成。在这个问题上，李渊比杨玄感、李密、窦建德等人都显得善于捕捉战机，更有远见。李渊改朝换代的成功，正说明长安与关中在隋末各种势力逐鹿中原的时候，其地位是非常重要的。
大业十三年(617年)九月，李渊率军渡河，进驻朝邑(大荔东旧朝邑)。本来，隋末的关中与延安一带也有农民起义。大业九年，扶风(风翔)有向海明领导的起义，众至数万人；大业十年(614年)，扶风又有唐弼领导的起义，有众10万人；延安有刘迦论领导的起义，也有10万人。不过，这些起义军很快都被隋军镇压下去了。到李渊进军关中时，仅剩下像孙华等人领导的小股起义军了。孙华领导的起义军活动在冯翊(大荔)一带，李渊将要进军关中时，就引诱他加入了自己的队伍。
李渊分兵两路，一路由李建成、刘文静等人率领，屯永丰仓，扼守潼关，监视河东(山西永济)的隋军；另一路由李世民、刘弘基等人率领，西进高陵(今高陵)，经泾阳(今泾阳)、武功(今武功)、盗屋(周至)、鄂县(户县)，迂回长安。李世民在向西进军途中，先在泾阳镇压了胡人刘鹞子的起义军，接着，又会合了李神通和平阳公主所领导的队伍。
李神通是李渊的从弟，李渊在太原起兵时，他在长安。李渊起兵后，他恐怕被隋朝捕获，遂到户县山中，聚兵响应李渊。后来，他攻下户县，发展到1万多人，自称关中道行军总管。平阳公主是李渊的女儿，与丈夫柴绍本来也在长安。李渊准备起兵时，派人密召他们。柴绍感到夫妻同行容易暴露，遂自己单独秘密离京，奔赴太原。平阳公主则到户县自己的别墅中，聚众响应李渊。这时，在周至司竹园有一西域的胡商何潘仁，正在领导着一支几万人的起义队伍，自称总管，独立活动。平阳公主派家僮马三宝联络何潘仁，帮助李神通攻下了户县。马三宝还曾说服李仲文加入平阳公主的队伍。李仲文是李密的从父，因李密加入瓦岗军而受到牵连，所以，他在郡(眉县)聚众四五千人，起兵反隋。由于马三宝东奔西走，有功于平阳公主，后被李渊称为“英雄”，还把他和西汉家奴出身的大将卫青相提并论。
