時，由於利益上的糾紛和策略上的分歧，趙韙和支援他的益州世家之間的矛盾逐漸浮現出來。他們原本以為可以迅速攻佔成都，但現在卻陷入了僵局，彼此之間的信任和合作關係受到了嚴重影響。
而另一邊，劉璋也沒有坐以待斃，他在背後派人拉攏中立的世家，試圖藉助益州當地人的力量來打擊趙韙。
這些中立的世家對趙韙的叛亂並不支援，看到劉璋的誠意後，紛紛表示願意與劉璋合作，這使得劉璋得到了更多的支援和資源，進一步增強了他對抗趙韙的實力。
此外，平定了巴夷少數民族叛軍之後的龐羲也開始率軍回援成都，龐羲的歸來給趙韙帶來了巨大的壓力，成都的東州兵在士氣和戰鬥力上都有所提升。
趙韙一方的形勢變得越來越不利，人心不穩，內部也出現了分裂。有些人開始懷疑趙韙的領導能力，並認為這場戰爭已經失去了勝利的希望。
在這種情況下，一些人選擇了轉投劉璋，背叛了趙韙，趙韙的叛軍內部士氣大受影響，他的軍隊在東州兵的猛烈攻擊下節節敗退。
最終，趙韙的叛軍被徹底擊敗，他只好率領殘部退出成都，往江州而去。
而劉璋命令大軍追擊，龐羲、吳懿、吳班、劉璝以及新選拔的張任等將領率軍一直追到江州城下，就這樣趙韙的叛軍被圍困在江州城中。
“將軍，城外的劉璋軍最近又增兵了。”
正當趙韙陷入沉思的時候，身後的部將龐樂面露憂慮之色，開口說道。
“那又如何？江州城易守難攻，城內仍然有近萬守軍，糧草補給能供應一年，本將倒要看看劉璋能奈我何。”
趙韙雖然心中煩悶，但嘴上仍不認慫，他和劉璋勢同水火，除了堅守沒有其他的可能。
“可是將軍，久守必失啊，如今咱們就只剩下一城之地，如何與佔有整個益州的劉璋爭鋒？”
龐樂對於戰事前景十分悲觀。
江州的守軍不到一萬人，被城外加上地方兵近三萬人的劉璋軍死死圍困在這座孤城之中，況且以前支援他們的世家態度也發生了改變。