高祖聽了大家的各種議論後，反而更加拿不定主意了。他考慮了很長時間，還是覺得應該去找那位足智多謀的張子房來商量一下，這樣才能做出決定。原來，張良已經輔佐漢朝取得了成功，他的心願已經滿足了。於是，他開始學習養生之道，比如呼吸吐納等方法，不太吃穀物，並且關起門來不再外出，也謝絕了與朋友的往來。他常常自言自語地說：
“我的家族世世代代都為韓國效力，但韓國被秦國滅亡了。所以，我不惜花費重金，也要為韓國復仇。現在，暴虐的秦國已經滅亡，漢室興盛起來，我只靠著自己的三寸不爛之舌，成為了帝王的老師，自問已經心滿意足了。從今以後，我不想再管世間的事情了，希望能夠追隨赤松子（古代傳說中的仙人）雲遊四海，這才是我一生的歸宿啊！”
這其實是張良的一種說辭，看的人可別被他給誤導了。雖然張良嘴上這麼說，但高祖怎麼可能輕易就讓他辭職呢？高祖只是答應讓他先休息一段時間，但如果有事情需要他，還是得讓他進朝來幫忙。這時，正好碰上都城選址這個大問題，高祖便立刻派人去請張良。張良也不好意思推辭，只好答應進宮去見高祖。高祖於是把婁敬的建議，以及群臣們的各種討論和意見，都詳詳細細地給張良說了一遍，然後讓張良綜合大家的意見，給出一個折中的決策。張良回答道：
“洛陽雖然也有險要之地可以防守，但它的中心地帶太狹窄了，只有幾百裡的平原，而且這片土地還非常貧瘠。洛陽四面都可能受到敵人的攻擊，因此它並不是一個適合用兵打仗的好地方。而關中呢，它的左邊有崤山和函谷關的險峻地勢作為屏障，右邊有隴地和蜀地的依託，三面都有天險可以據守，只有東面是面向其他諸侯的。如果諸侯們安分守己，我們就可以透過黃河和渭河來運輸糧食，供給京城的需要；如果諸侯們有變故，我們也可以順著河流的流向快速出兵，這樣既不用大費周章地徵兵，運輸也非常便利。古人所說的‘天然形成的千里金城’，確實不是假話啊！婁敬的建議，不是沒有道理，請陛下您做出決定並執行吧。”
高祖聽後，立即回應道：
“既然子房覺得可以，那我就按照這個提議來辦。”
於是，他挑選了一個吉日來遷都，並命令相關部門立即準備搬遷所需的物品，不得有任何拖延。雖然百官們心中並不樂意，但也只能遵從高祖的旨意去辦理。大家為此忙碌了好幾天，終於到了預定的日子，儀仗隊排列得整整齊齊，皇帝的車駕也準備就緒，接著請高祖啟程。高祖帶著太公、后妃、太子等一行人走出皇宮，坐上輦車，一行人浩浩蕩蕩地向西進發，文武百官也都跟隨著一起前往。
好不容易一行人抵達了櫟陽，丞相蕭何自然前來迎接高祖。高祖與蕭何談起了遷都的事情，蕭何說：
“關中地區地勢險要，非常堅固，地理位置十分優越。但是自從項羽攻入關中後，咸陽宮被嚴重破壞，即使還有幾間房子留下來，也是破舊不堪的。陛下您現在只能暫時住在櫟陽，等我前去咸陽修建新的宮殿，儘快完工後，您才能搬過去居住。”
高祖於是就在櫟陽安頓了下來，並派遣蕭何前往咸陽監督修建宮殿的事務，蕭何領命後就出發了。
突然，一個緊急的訊息從北方傳來：燕王臧荼公然造反了，他成了諸侯中第一個反叛的人。高祖聽到後勃然大怒，說道：
“臧荼本來就沒立下什麼大功，我只是因為他識時務投降了，才繼續讓他當燕王。但他卻不懂得感恩，反而還敢背叛我。這次我要親自出徵去平定他！”
於是，高祖開始調兵遣將，限定日期準備好一切，然後日夜兼程，火速突入燕國境內。臧荼剛準備發兵，沒想到漢軍就已經到了，而且高祖還親自督戰，這速度之快，簡直讓人來不及反應。臧荼一下子