梁王的事情處理妥當後，呂后勸說漢高祖回到都城，高祖於是帶著呂后一起回去，在宮裡安穩地住了下來。大概過了一個多月的時間，高祖突然想到南方的南粵地區還沒有平定，所以就特別派遣了楚地人陸賈，讓他帶著官印和綬帶，去封趙佗為南粵王，命令他安撫管理好百越地區，不要成為邊境的禍患。趙佗以前曾經擔任過龍川縣的縣令，是歸屬於南海郡尉任囂管轄的。任囂看到秦朝的政治體系崩潰，中原地區陷入大亂，他也想借此機會崛起，獨自稱霸一方。但因為他年老體弱，疾病纏身，長期臥床不起。在他即將離世的時候，他把趙佗叫到了身邊，對他說：
“現在天下已經大亂，從陳勝吳廣起義之後，又有劉邦項羽這樣的英雄崛起，不知何時才能恢復安寧。南海地處偏遠，與蠻夷相鄰，我擔心這裡會被亂兵侵入。我本來打算封鎖北方的道路，自己開闢新的出路，先靜觀其變，然後再決定下一步的行動。但不幸的是，我的病情越來越重，有志向卻難以實現。現在郡中的長吏們，沒有一個能和我商量大事的。只有你趙佗，性格豪爽不羈，能夠繼承我的志向。這個地方背靠大山，面朝大海，東西綿延數千裡，而且還有來自中原的人士在這裡定居，他們都可以成為你的助力。如果你能趁機建立國家，也能成為一州之主啊！”
趙佗連連點頭，表示接受任囂的教導，於是任囂就讓趙佗代理南海尉的職責。不久之後，任囂去世了，趙佗為任囂舉辦了喪事，實際上開始擔任南海尉一職。他向各個關口的守將釋出公文，命令他們嚴格守衛邊防，阻斷北方的通道。對於那些秦朝時期派遣來的各縣縣令，他陸續派兵去逮捕並殺害，然後用他的親信和黨羽來填補這些空缺。之後，他又趁機攻佔了桂林和象郡，自稱為南粵武王。當漢朝的使者陸賈來到南海時，趙佗雖然沒有拒絕接待他，但卻擺出一副高傲的姿態。他坐在大堂上，頭上不戴帽子，頭髮紮成一個椎形的髮髻露在外面，身上也不繫腰帶，獨自伸開兩腳，坐姿就像簸箕一樣。直到陸賈走進來，他還是保持著這種傲慢的樣子。陸賈向來以口才著稱，他沒有對趙佗行禮，而是直接高聲說道：
“你本來是中原人，你的父母兄弟的墳墓都還在真定呢。現在你卻違背了常理，不戴帽子、解開衣帶，想要憑藉小小的南越國，與漢朝天子相抗衡，恐怕災禍很快就會降臨到你的頭上了！回想當年，秦朝暴虐無道，導致天下豪傑紛紛起義，但只有現在的漢朝天子能夠先入關中，佔據咸陽，平定了暴秦。項羽雖然強大，但最終還是失敗了，從開始到結束不過五年的時間，整個天下就重新歸於統一，這都是天意啊，不是單靠人力就能做到的！現在你卻擅自稱王於南越，不幫助天下人討伐暴逆之徒，漢朝的將相們都很生氣，都想要發兵來討伐你。但天子考慮到百姓的勞苦，想要讓百姓休養生息，所以特地派遣我到這裡來，冊封你為南越王。你本應該到郊外迎接我，並向北稱臣。沒想到你卻如此驕傲自大，想要違抗天子的命令。如果天子知道了這件事，他一定會大怒，可能會挖掘毀壞你的祖墳，屠殺你的宗族，再派遣將領率領十萬大軍來討伐南越，到時候你將如何應對呢？就算是南越的官吏百姓，也會怨恨你，你的生命可能就在這旦夕之間了！”
陸賈先是用利害關係來震懾趙佗，想要先挫挫他的銳氣。趙佗聽後，猛然從座位上站了起來，說道：
“我在蠻夷之地待得太久了，以至於失了中原的禮儀，還請你不要見怪！”
陸賈回答道：
“你能夠認識到自己的錯誤並改正，也算得上是一位賢明的君王了。”
趙佗接著問道：
“那我和蕭何、曹參、韓信等人相比，到底誰更賢明呢？”
陸賈隨口應付道：
“你似乎比他們還要稍微高出一籌。”