平定河間王司馬顒之亂，收復關中以及削平諸藩兩個任務的完成後，讓司馬遹獲得了整整七萬的獎勵積分。他將這些積分又兌換了兩千名王庭重灌騎兵和兩千長弓手。
現在僅憑手上的五千餘王庭重灌騎兵與兩千六百名長弓手，司馬遹就自信能剿滅盤踞在河套以及幷州北部的偽漢政權，震懾住在幽州蠢蠢欲動的鮮卑諸部以及在遼東取代烏桓新崛起的高句麗勢力。
更何況司馬遹還有自己直屬管理的十萬精銳的禁軍。儘管當下地方政權還是要依靠士族高門運轉，但晉王朝已基本上能做到政令暢通，中央權威有基本保證，具備全境範圍內進行戰爭動員的能力。
所以雖然匈奴叛亂，鮮卑寇關，高句麗東侵的軍報相繼傳來。但司馬遹，還有洛陽城的百官並沒有驚慌失措，整個洛陽城依舊在節日氣氛中度過了正月。
永寧四年二月，司馬遹即刻發兵北征匈奴。此徵動員了所有王庭重灌騎兵，長弓手，以及禁軍中一半的步騎五萬人。由司馬遹本人御駕親征。
此時，高句麗在侵佔整個遼東後，已經切斷隔絕了半島上樂浪，帶方等郡縣與中原的聯絡。司馬遹為防止高句麗的勢力繼續擴張以及他們繼續南下襲取樂浪，帶方等郡。司馬遹令青州抽調精銳州郡之兵，直接從海路渡海支援樂浪，帶方。選擇帶兵之人時，司馬遹自然想到了曾經在帶方郡作戰過的夏越，於是他令夏越帶一千玄甲鐵衛再次趕赴青州，統帥青州兵渡海做戰。
……
司馬遹親率五萬多大軍，西出潼關，北上晉陽，黃白城，定陽，朔方等郡。在禁軍的強大攻城器械以及龐大軍力的支援下，偽漢軍屢戰屢敗，不斷丟城失地。晉軍兵鋒直指劉淵的都城晉陽。
劉淵曾試圖乘晉軍攻城時，用騎兵從外圍突襲的方法擊潰晉軍的方法，但沒有什麼效果。晉軍在攻城時往往會在戰場鄰近的地方部署一支機動騎兵部隊。劉淵的匈奴騎兵相對於強悍的晉軍重灌騎兵和輕裝的柺子馬討不到便宜。
無計可施的劉淵在部屬的勸說下，放棄了固守城池的戰略，又恢復到匈奴傳統的遊牧作戰方式。司馬遹乘機奪取了這些郡縣的所有重要城池，並將那些不重要的城池遷徙一空，一把火燒成白地，徹底摧毀。除此，司馬遹還令大軍深入大漠腹地連建了多個堅固的營壘，其中屯駐步卒固守。
他的用意就是在日後的雙方騎兵運動博弈中，讓匈奴騎兵無所依託，而自己的鐵騎卻隨處都能找到堅城固壘休整。每個堅城固壘之中都備有糧草和多餘的馬匹，以供日常巡邏的小股騎兵部隊和機動的大股騎兵部隊更換馬匹以及補充糧草之用。同時，可在己方區域性力量薄弱時，暫行龜縮至城池據點之中固守。
司馬遹又花費數月時間在晉陽建起了一座鴿房以及訓好了鴿子。現在從這個鴿房帶出去的鴿子都會飛回晉陽，而不是洛陽的衛城。
……
大漠南部邊緣處一個地方，到處是遍地的營帳和隨處放養的馬匹，牛羊。這是劉淵主力營地所在。中軍大帳之中，眉頭緊鎖的漢主劉淵正一邊看著地圖，一邊和群臣激烈的討論著。
他們現在才知道之前將事情想簡單了。南匈奴內附數百年，早已喪失了遊牧民族的大多特性，現在突然重新完全迴歸的遊牧生活，除了類似羯人這樣的匈奴別部，正統的匈奴五部不能完全適應這種在塞北苦寒之地的遊牧生活。
最致命的就是在這貧瘠的土地上游牧所帶來的補給和數萬人的消耗有缺口。也就是他需要外部輸送的糧食才能養活手下數萬部眾和戰馬。
曾經有屬下勸他北上漠北以避晉軍鋒芒，這個建議他覺得荒唐至極。在這漠南之地生存都困難，更何況去氣候更加寒冷與乾燥的漠北之地。而且那漠北之地也不是無主之地，鮮卑人已經佔據了那裡。否決