楊廣萬萬沒想到的是，李世民竟然狂妄到首先對自己發起進攻。就在楊廣帶著天興軍順著通濟渠趕回東都時，唐軍兵分三路開始了南征。
東路由長孫無忌統領，率五萬大軍自濮陽渡河南下，直取汴州。中路由李世民親自率領自孟津南渡黃河直逼東都洛陽，西路由尉遲恭統領從河東西渡黃河，直取長安。雖然唐軍來勢洶洶，但是隋軍卻有著嚴密防禦部署以及強大的黃河水師。
在北方造船業遠不如南方，唐軍難以打造大量適合在黃河水道上行駛的戰船以及培養大量水手。但對於擁有江淮的隋軍這個問題一點都不存在，大量適合黃河水道的戰船以及訓練有素的水手早就源源不斷的透過通濟渠進入到黃河。
楊廣回到東都沒多久。唐軍就因為後方糧草補給難以運輸到前線，導致李世民的東西兩路大軍過河不久就陷入進退失據的困境之中。
而李世民親率的中路大軍就更別提了，連河都過不了。與段達統帥的五萬隋軍府兵和一萬驍果禁衛隔在孟津隔著黃河對峙。李世民恐日久生變，不得已，下令讓東西兩路唐軍分別撤回河北，河東。
他這個決斷可謂及時，只要再晚幾天，楊廣就會做出部署，完成對東西兩路唐軍的全面合圍。
但是，僥倖逃出生天的東西兩路唐軍在隋軍乘勢追擊下依舊傷亡不小，在過黃河過到一大半時又被趕來的隋軍水師截殺，沒能過河的全部被隋軍斬殺或俘虜。
唐軍對隋軍的攻擊就這樣被輕易瓦解掉了，李世民一個戰略目標都沒達到，甚至連個隋朝糧倉都未能攻克下來。他只得沿著黃河匆忙做了防禦部署，而後唐軍主力分兩路返回晉州和大名。
返回晉陽的李世民清點兵力後更是鬱悶不已，此次南征不僅無功而返，還損失了近四萬唐軍將士。不過，讓他感到慶幸的是，唐軍中最精銳的五萬玄甲軍和長林軍卻是沒有絲毫損失。他自信這玄甲軍中的俱裝鐵騎，陌刀兵，還有長林軍中的刀盾手，強弩兵乃天下第一強兵，這也是他向隋軍發起主動進攻的底氣所在。
楊廣並沒有給李世民喘息的機會，僅僅幾個月之後，大業十六年的初秋。楊廣親率三萬天興軍，兩萬驍果禁衛北渡黃河討伐李唐。
同時為了保障後方以及側翼安全和穩定，牽制住唐軍東西兩翼兵力。楊廣令段達與王世充各自領兵兩萬隋軍精銳分別從東邊的濮陽與西邊的郃陽渡過黃河，深入唐軍腹地襲擾。因為是襲擾做戰，所以他們並沒有太大的後勤負擔。作戰形式通常是，每個兵士一次帶夠十日的特製壓縮乾糧，然後向唐軍腹地進擊五日行程，大約五六百里的路程，待所帶給養消耗一半時再折返到黃河岸邊，在那裡可以得到隋軍黃河水師提供的補給。
楊廣與眾將率五萬大軍渡過黃河後，幾乎沒遇到像樣的抵抗，僅在大軍剛剛渡河完畢時與迅速集結起來的三萬唐軍在河內郡爆發了一次大戰，這次戰鬥僅持續了半個時辰，唐軍就被全面擊潰。除了近一萬被斬殺外，其餘唐軍皆伏地而降。
此戰之後，河內郡各縣城池望風而降，甚至有遠在魏郡的縣城官長前來主動獻降。但是楊廣並沒有向東走魏郡再北上取大名，而是在佈置好河內郡的駐軍和鞏固好防禦後，直接率領五萬精銳穿過太行白陘，進入長平。
這次行軍，穿越兩百里的太行白陘是楊廣最為擔心的一段路程。
雖說白陘在太行八陘中是最為好走的一條陘道，但它畢竟是山路，沿途穿越險關要隘峽谷無數，這些地方都是設定伏兵的好地方。因此隋軍在此行軍，幾乎是走一步看一步，步步為營向前推進，前方偵查確保沒有敵人設伏後方才透過。
因此區區兩百里路程，就讓這五萬隋軍整整行進了十天。沿途每日設定的營壘剛好可以成為後續駐防部隊的據點。為了保障這條後勤生命