隋朝末年，隋朝的统治变得越来越腐朽和残酷。它横征暴敛，荒淫无道，刑罚残酷，兵役苛刻。结果，人们不谈生活，矛盾激化，最终导致了轰轰烈烈的农民起义。到公元617年初，农民起义形成了三个起义军中心。李密瓦岗军转战河南，窦建德起义军活跃在河北，杜伏威起义军崛起于江淮。他们英勇奋斗，歼灭了大量隋军，使隋朝的统治濒临彻底崩溃。在农民起义风起云涌的情况下，一些贵族和地方官员也抱着各种政治目的，纷纷起兵反隋渊父子的太原起兵就是其中之一。
公元617年春夏之交，隋太原留守李渊，李世民父子在太原(今山西太原东南)起兵。李渊的父子是封建贵族官僚，具有丰富的政治远见和军事才能。启动军队后，他们采取了政治经济措施，掌握了政治主动性；并采取了聪明的战略政策和优秀的作战指导，在军事方面取得了重大进展。在短短半年的时间里，他们攻占了隋都长安，占领了关中和河东的大部分地区，并迅速扩大到秦、晋、蜀等地区，成为当时社会的一支重要力量。618年，李渊在长安正式称帝，建国号唐。然后，经过一段时间的东攻西讨，南征北伐，薛举、梁师都、刘武周等地的武装割据势力被消灭，立即向东引兵，伺机统一全国。
当时，李密领导的瓦岗起义军已经解体，李唐政权的主要对手是河北窦建德起义军和洛阳王世充集团。此外，江淮地区还有杜伏威起义军，隋朝残余势力萧铣集团控制着长江中游、粤桂等地。李渊集团采取了远近攻、先王后窦、各种突破的战略方针：在派使者暂时稳定窦建德的同时，李世民带领唐军进攻东都洛阳，首先消灭了王世充集团。李世民大军在洛阳城下与王世充军进行了为期半年的激烈战斗，对王世充军造成了沉重打击，拔出了洛阳城外王世充军的据点，包围了洛阳城。王世充困守孤城，粮尽矢绝，处境危急，连遣使向窦建德求助。
窦建德充分意识到，如果王世充被淘汰，唐军的下一个进攻目标将轮到他自己。唇亡牙寒，怎么能隔岸观火，坐视不救？决定联合王世充击唐，然后相机消灭王世充，然后夺取世界。于是他在山东孟海公起义军合并后，于公元621年春，亲率10多万兵马西援洛阳。窦军连下管州(今河南郑州)、荥阳、杨寨(今河南禹州市)等地，迅速抵达虎牢以东的东原(即东广武、河南荥阳东北广武山)。
虎牢是洛阳东部的战略要地。早在武德四年二月三十日晚，唐军王君廓部就在内应的帮助下，率先占领了这个地方。面对洛阳的坚城和窦军的突然到来，李世民就在青城宫召开了一线指挥会议，讨论破敌的策略。会上，唐军将领大多主张暂时退役以避开敌人，但唐宋州（河南商丘南）刺史郭孝科、记室薛收等人反对。
他们认为王世充有洛阳坚城，兵卒善战，其困难在于粮草匮乏；窦建德远来增援，兵多势众。若让王、窦联手合兵，窦以河北粮草供王，将给唐军造成严重不利，使李唐统一事业受挫。因此，在分兵围困洛阳孤城的同时，唐军主力将守虎牢，防止窦军西进，先消灭窦建德军，然后洛阳城就不能攻自下了。李世民采纳了这一建议，立即将唐军分成两部分，使李元吉、屈突通等人继续围攻洛阳；他带领3500名精锐士兵，于3月24日开始进入虎牢。
到达虎牢的第二天，李世民率精骑500东出10公里侦察窦建德军。他派李世积、秦叔宝、程知节等兵在路边埋伏，自己和尉迟敬德等只骑到窦建德军营前进。李世民故意暴露自己，引诱窦建德出动骑兵追击，距离窦军营1.5公里。窦骑兵进入预设伏地后，李世积及时发动袭击，击败窦军追兵，歼灭300多名敌人。这场小战挫败了窦军的锋芒，了解了窦军的虚实。
窦军被虎牢东月多封锁，不能西进，几次小战都失败了，士气开始低落。四月份，窦军的粮道被唐军抄袭，将军张青特被俘，使窦军的处境更加不利。此时，国子祭酒凌建议窦建德改变作战计划：率领主力渡黄河，攻占怀州、河阳，然后翻越太行山，入党，攻占汾阳、太原，下浦津（今山西永济西）。指出这样做有三个好处:进入无人之地，胜利可以万全；扩大观众，增强实力；震撼关中，唐军被迫回师救援，以解除洛阳之围。窦建德认为这是合理的，准备采纳。然而，由于王世充频繁派遣使者，部长将军受到王世充使者的贿赂，主张直接救洛。最后，凌静的合理建议被搁置，唐军越来越被动。
不久，李世民得到消息称，窦军试图利用唐军的饲料用完，并有机会在河北岸牧马攻击虎牢。李世民将计就计，随后带兵过河，南临广武，观察窦军情况后，故意留马千余匹在河渚，诱使窦建德军出战。第二天，窦军果然中计，出动全军，在泗水东岸布阵。北依大河，南连鹊山，前宽十多公里，摆出一副进攻姿态。李世民正确分析了情况，指出窦军没有经历过战争，今年危险，强迫城市，轻视唐军。我军可以按兵不动，等窦军累了再进攻，一举克敌制胜。于是他严阵以待，使窦军无缝可乘；同时派人召回留在河北(黄河)的诱兵，准备出击。
窦建德鄙视唐军，只派300人骑过泗水挑战唐军。李世民派部200年将王军带领长矛兵作战。两军多次冲击对抗，未分胜负，各自退役。战斗是粘着的。
窦建德沿着四水排队。从小到小，士卒又饿又累，无法支撑。他们都坐在地上，士卒们争先恐后地喝水。秩序混乱，表回军营的意图。在仔细观察了这些迹象后，李世民派宇文士，带领300精骑经窦军阵西，先试阵。并指示：如窦军严整不动，即返军返阵：如其阵势有动，则可引兵继续东进。到窦军阵前，宇文士和窦军的阵势开始动摇。李世民见此，立即下令出战，并亲自率领骑兵先出，主力继进。过了四水后，直扑窦建德统帅部。
当时窦建德正要召集群臣议事，唐军突然来了，群臣都惊恐失措，纷纷逃离窦建德，导致奉调抵抗唐兵的战骑通道被封锁。窦建德迅速命令群臣闪开为骑兵让路，但为时已晚，唐军已冲进来。窦建德被迫向东撤退，被唐军窦抗部追赶。然后李世民率领精骑突入窦军大营，双方展开激战。李世民还命令秦叔宝、程知节、宇文欣等部迂回窦军后路，分窦军。窦军看到大势已去，便惊慌失措。唐军乘胜追击15公里，俘虏窦军5万多人。窦建德本人也因伤坠马被俘，其余大部分军卒崩溃，只有窦建德的妻子率数百骑回河北。到目前为止，窦军已灭。
唐军赢得虎牢之战后，主力回到洛阳城下。王世充见窦军被歼，内外交困，绝望中献城投降。
在虎牢之战中，唐军消灭了窦建德的10万主力军，然后迫降了洛阳王世充的残余守军，夺取了中原的主要地区，取得了一举两克的重大胜利，创造了中国古代著名的围城救援成功战例。这也是李唐统一全国最关键的战争。到目前为止，唐朝的统一事业已经基本完成。