604年（隋文帝仁寿四年），杨广弑父杀兄登基执政后，又穷兵黩武征伐高丽，并大兴土木，修宫殿，凿运河，修驰道，把社会经济推向绝境。史称“黄河之北，则千里无烟；江淮之间，则掬为茂草”。广大人民“百姓困穷，财力俱竭，安居则不胜冻馁，死期交急，剽掠则犹得延生，于是始相聚为群盗”，最终演变为全国各地风起云涌的农民起义。
在山西，615年～617年（大业十一年至大业十三年）之间，农民起义达到高潮，先后有六七支起义队伍转战各地。在山西南部，有毋端儿起义军，众至数千人，曾进攻龙门县（今山西河津市）；有敬盘陀领导的绛郡（治今山西新绛县）起义军，众至数万人。在山西中部，有甄翟儿领导的“历山飞”起义军，多次进攻太原。在此形势下，615年（大业十一年），隋炀帝任命李渊为山西、河东慰抚大使，命其剿灭活跃在今山西地区的起义军。
李渊，自称陇西狄道（今甘肃临洮县）人。祖父李虎，西魏时官至太尉。父李昞，北周时历官御史大夫、安州总管、柱国大将军，隋时封为唐国公。李渊7岁袭封唐国公。入隋以后，因其姨母是隋文帝的独孤皇后，深受重用，曾任淮、陇、岐三州刺史，荥阳（今郑州市）、楼烦（今山西静乐县）二郡太守。后被召为殿内少监，迁卫尉少卿。隋炀帝即位后，因社会上流传着“李氏当为天子”的谶谣，对李姓高官多所猜忌，但李渊通过“纵酒沉湎，纳贿以混其迹”，表示自己胸无大志，免遭厄运。
李渊到河东后，先后击败了甄翟儿、毋端儿、敬盘陀等人领导的起义军，得到隋炀帝赏识。616年（大业十二年）初，李渊被任命为太原道安抚大使，并拥有黜陟选补郡文武官、征发河东兵马的特权。七月，隋炀帝南下江都（今江苏扬州市）前，任命李渊为太原留守，另派王威、高君雅为副留守，让他们监视李渊。
此时，全国的政治格局已发生大的变化，农民起义军已基本摧毁了隋王朝的统治力量，隋朝的官僚地主也纷纷打起反隋的旗帜割据一方。太原乃“天下精兵处”，隋自建国以来，对晋阳城军需物资的储备一直十分重视，经多年的积蓄，城中已是“府库盈积”，“太原粮饷可支十年”。所以，李渊被任命为太原留守后，“私窃甚喜”，他对次子李世民说：“唐固吾国，太原即其地焉。今我来斯，是为天与，与而不取，祸将斯及。”在镇压农民起义的过程中，李渊招降纳叛，不断扩充自己的实力。李渊父子还广结豪杰之士，网罗各种人才。史称李渊“素怀济世之略，有经纶天下之心。接待人伦，不限贵贱，一面相遇，十数年不忘”。李世民在晋阳“密招豪友，一技可称，一艺可取，与之抗礼，未尝云倦”，“倾财赈施，卑身下士”。晋阳令刘文静、晋阳宫监裴寂皆为李世民的密友，也是李渊父子晋阳起兵的主要谋士。李渊长子李建成也在河东暗中交结英俊，发展势力。
正当李渊及其子李世民、李建成“与晋阳令刘文静谋举大事”时，617年（大业十三年）二月，李渊治下驻马邑（今山西朔州市）的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子，国号定杨。三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李渊对李世民说：“事急矣，可举事。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，旬日之内募集到数千人。随后，李渊派人往河东召回其子李建成和李元吉。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊“有异志”，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。同时，李渊又设下空城计，“开诸城门”，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。
首先，李渊听从刘文静等人的建议，制定了“乘虚入关，号令天下”的战略。当时天下虽然群雄并起，但许多人并无大的志向，只图据地自保，或是瞻前顾后，犹豫不决。李渊的起兵战略，以入关夺取长安为军事目标，以开创帝业，最终取代隋为政治目标。在实现目标的过程中，又强调以“废皇帝（指隋炀帝）而立代王”为策略。
第二，募集兵士，扩充地盘。李渊起事后，让部下开仓赈济贫民，公开募兵。据《大唐创业起居注》记载，每天有千余人来投军，“二旬之间，得众数万”。
第三，北结突厥。隋末，东突厥汗国崛起达到极盛，东自契丹、室韦，西尽吐谷浑、高昌诸国，都臣属于东突厥汗国，窦建德、薛举、刘武周、梁师都、李轨、王世充等势力也臣属于东突厥汗国，东突厥汗国控弦之士百万，古代戎狄没有比东突厥汗国更强的。李渊深知以太原为根据地起兵南下，必须处理好与突厥的关系。否则突厥包抄后路，后果不堪设想。他在出任太原留守时，就曾对李世民说：“历山飞不破，突厥不和，无以经邦济时也。”李渊用空城计吓退突厥兵后，立即亲自写信给突厥始毕可汗，说：“我今大举义兵，欲宁天下，远迎主上（指隋炀帝）还，共突厥和亲。……若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”（但是李渊没有把征伐所得的子女交给突厥，也没有把财物都给突厥。李渊把征战得到的大量女人放回家去让她们与亲属团聚。）李渊起兵之前，隋朝已经统治崩溃、名存实亡。李渊起兵时地盘极小、只有太原，因为隋炀帝留下的恶劣形势，为了防止突厥与刘武周攻打自己，李渊才暂时结好突厥。（后来李渊建立唐朝之后，不久就与突厥开战。唐朝一面打败众多敌人，扩张，进行统一战争，另一面抵御突厥，还消灭突厥支持的割据势力，削弱了突厥可汗的力量与威望，还分化突厥。）起兵南下之前，突厥以一千匹马来互市，李渊挑选其中好的，只买了一半。南下至龙门时，刘文静、康鞘利以率领派500人、2000匹马到达。李渊因为突厥来的晚而高兴，对刘文静说：“我西行及河，突厥才到达，兵少马多，都是你的功劳。”
第四，东和李密。李渊起事后，为使东面有30万人马、战将千员的李密起义军不致成为自己进兵关中的掣肘，令温大雅带着他的信去见李密，信中一面吹捧李密是当今天下大乱之际唯一能宁世安民的英雄，表示对李密的拥戴；一面剖白自己胸无大志，无意灭隋，从而使李密放松了对他的警惕防范。
六月初五日，李渊在晋阳设起义堂（亦称号令堂），将军队分为三军，统称“义士”。裴寂等尊称李渊为“大将军”。十四日，李渊在晋阳建大将军府，以长子李建成为陇西公、左领军大都督，统率左军；以次子李世民为敦煌公、右领军大都督，统率右军；以四子李元吉为姑臧公，统率中军。以裴寂为大将军府长史，刘文静为司马，殷开山为掾，刘政会为属，长孙顺德、王长谐、刘弘基、窦琮为左右统军、副统军。并下令开仓放粮。
七月初四日，李渊在晋阳宫城东的乾阳门街军门前竖白旗誓师，并任命四子李元吉为镇北将军、太原郡守，让其留守晋阳。李渊在誓文中历数了隋炀帝杨广的种种罪恶，宣布要“兴甲晋阳，奉尊代邸，扫定咸洛，集宁寓县”。初五日，李渊亲率长子李建成、次子李世民及义师甲士3万自太原挥兵南下，直指关中。
七月，李渊与长子建成、次子世民挥师南下，先后破霍邑（今山西霍县）、渡黄河，向西南挺进。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父子进军神速，十一月间攻入长安。李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。618年（义宁二年）李世民徙封赵国公。公元618年3月，隋炀帝在江都被部将杀死。五月，李渊即位，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
617年（大业十三年）十一月初九日，李渊率军攻陷长安，立隋炀帝之孙杨侑为帝，是为隋恭帝。隋恭帝任命李渊为大都督内外诸军事、大丞相、录尚书事，进封唐王。
第二年五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，建立唐朝，是为唐高祖。
李渊从太原起兵到攻克长安，只有短短的5个月时间。隋末农民战争牵制了的隋朝统治，牵制了隋军大量兵力，使隋朝统治集团无力西顾，关中空虚，不能和新兴的李渊集团抗衡，这是总的战略形势决定的。在攻取长安的过程中，李渊父子运用战术巧妙，如与关东李密联合，拖住隋军无暇西顾，入关后立即屯兵潼关，阻住了隋朝援军。具体战术运用方面当机立断，不失时机，如在攻打河东与进军长安时双管齐下，收效显著。事实证明，这种部署是成功的，长安失陷以后，隋将屈突通被俘投降了李渊。李渊进军途中减少了阻力，因而能够迅速攻占长安，奠定了唐朝基础。
在《旧唐书·裴刘合传》里保存了一份功臣名单，是李渊颁布的“太原元谋功臣”名单。“太原元谋功臣”名单是李渊在武德元年五月称帝后不久就公布的，记录在晋阳起兵时的功臣，一共有十七人：
尚书令秦王某、尚书左仆射裴寂和纳言刘文静、左骁卫大将军长孙顺德、右骁卫大将军刘弘基、右屯卫大将军窦琮、左翊卫大将军柴绍、内史侍郎唐俭、吏部侍郎殷开山、鸿胪卿刘世龙、卫尉少卿刘政会、都水监赵文恪、库部郎中武士彟、骠骑将军张平高、李思行、李高迁、左屯卫府长史许世绪。
