當時正值初秋，皇帝啟程出發，大部分的戰將都跟隨在側，只有留守在都城的官員們，負責輔佐太子，因此得以免於隨軍出征。不過，這些留守的官員們都還是來為皇帝送行，一直送到了都城外的霸上。留侯張良，平日裡就體弱多病，這次也強打起精神來送別。這大概是因為他長期修煉辟穀之術，身體比較虛弱。在臨別之際，張良對高祖說：
“我本來應該跟隨陛下一起去，但無奈我的病情加重了，不方便上路，只能暫時離開陛下。只是希望陛下此次出行，一定要隨時小心謹慎，楚人性格勇猛剽悍，千萬不要輕易與他們發生衝突！”
高祖點頭說道：
“我會牢牢記住你的建議。”
張良接著又說：
“太子留守在京都，責任重大，陛下應該任命太子為將軍，統領關中的軍隊，這樣才能足夠讓眾人信服。”
高祖再次採納了張良的建議，並且囑咐張良道：
“子房，你是我的老朋友了，雖然你現在身體不好，但還是希望你能在床上教導太子，這樣我就可以放心了。”
張良回答道：
“陛下，叔孫通已經擔任了太子的太傅，他的才能足以勝任這份工作，請您放心。”
高祖說：
“叔孫通本來就是一個賢能的臣子，但只靠他一個人恐怕難以應對所有事務，所以還得請你子房來幫忙。子房，你可以委屈一下擔任少傅的職位，希望你不要推辭！”
張良於是接受了這一職位，回到了自己的崗位上。這一切都是為了更好地輔佐太子。接著，高祖又調集了上郡、北地和隴西的騎兵，以及巴蜀的精銳步兵，再加上中尉率領的三萬士兵，讓他們駐紮在霸上，作為太子的護衛軍隊。所有的部署都安排妥當之後，高祖才率領大軍向東進發，軍隊按照順序一隊接一隊地出發。
英布已經出動軍隊去攻佔地盤，他一方面向東攻打荊國，另一方面向西攻打楚國。他在軍隊中釋出命令說：
“漢帝已經年邁，肯定不會親自出徵。以前那些善於打仗的將領，只有韓信和彭越智勇雙全，但現在他們都已經死了，剩下的人都不足為慮。只要你們能奮勇向前，我保證你們一定能取得勝利，甚至奪取天下也並非難事！”
士兵們聽到這個命令後，於是首先向荊國發起了進攻。荊王劉賈在戰鬥中戰敗逃跑，最終死去。英布佔領了荊國的土地後，又調轉軍隊去攻打楚國。楚王劉交把軍隊分成三路，出城去迎戰英布。有人對楚國的統兵將領說：
“英布善於用兵打仗，大家都對他很忌憚。如果我們把兵力集中起來抵抗，或許還能堅持一段時間。但現在我們把軍隊分成三路，勢力和力量都被分散了。如果他擊敗了我們其中一路軍隊，其他的軍隊就會不戰而潰，那樣楚國就保不住了！”
然而，楚國的將領並沒有聽從這個建議。果然，在兩軍交戰時，前路的軍隊被英布打敗，左右的兩路軍隊還沒交戰就自己潰散了，楚國的將領也逃跑了。就連楚王劉交也守不住淮西的都城，只能逃難到薛地去了。英布以為已經攻佔了荊楚兩地，正是向西進軍的好機會，於是就像薛公之前預料的那樣，他選擇了較為穩妥但稍顯保守的策略，沿著長江逆流而上向西進發。當他到達蘄州所屬的會甄地區時，正好碰上高祖親自率領的大軍緩緩而來。英布遠遠望去，隱約看到了皇帝乘坐的黃蓋車和左邊的旄頭旗，心中也不免感到驚訝（沒想到高祖會親自帶兵前來）。雖然事情的發展並不完全如他所料，但此時他已經沒有退路，只能硬著頭皮，擺開陣勢，準備與高祖一決高下。
高祖在庸城附近安下了軍營，然後登上高處觀察敵軍的情況。他看到英布的軍隊非常精銳，所用的陣法也好像和項羽的很像，這讓他心裡很不高興。於是，