同一個祖先荀氏，所以想要和他們區分開來，於是他們按照智罃的舊例，改稱為智氏。當時智瑤掌握政權，被稱為智伯。四家聽說田氏殺害國君，獨攬大權，而諸侯們卻無人前去討伐，於是他們私下商議，各自選擇方便的地方，作為自己的封地。然而，晉出公的領地，反而比四卿的領地要小，對此也無可奈何。在這四家中，尤其要提趙簡子，他的名字叫鞅，他有好幾個兒子，長子名叫伯魯。最小的兒子名叫無恤，是賤婢所生。有一個善於給人相面的人，名叫姑布子卿，當他來到晉國時，趙鞅把所有的兒子都叫來讓他相面。子卿說：“沒有適合當將軍的。”趙鞅嘆息道：“趙氏恐怕要滅亡了！”子卿說：“我來的時候，在路上遇到一個少年，他身邊的隨從都是您府中的人，這個不會是您的兒子吧？”趙鞅說：“這個是我最小的兒子無恤，他的出身很低賤，不值得您過問！”子卿說：“天意要廢棄的人，即使是貴族也會變得卑賤；天意要振興的人，即使是卑賤也會變得尊貴。這個孩子的骨相看起來和其它公子不同，我還沒有仔細看過。您可以把他叫來。”趙鞅派人去召無恤來。子卿一看見他，就讚歎道：“這才是真正的將軍啊！”趙鞅笑了笑，沒有回答。過了幾天，趙鞅召集了所有的子孫，詢問他們的學問。無恤無論被問到什麼問題，都能夠清晰明瞭地回答，並且條理分明。趙鞅終於認識到他的才能，廢除了長子伯魯，立無恤為繼承人。
有一天，智伯對鄭國不向他朝貢感到憤怒，打算和趙鞅一起攻打鄭國。但趙鞅正好生病了，所以讓無恤代替他領軍前往。智伯在宴會上灌醉了無恤，但無恤卻不能喝酒。智伯醉後發怒，把酒杯扔到無恤的臉上，導致無恤的臉受傷流血。趙氏的將士們都感到憤怒，打算攻擊智伯。無恤說：“這只是小傷，我可以忍受。”智伯撤兵回國之後，卻反過來說無恤有過，想要讓趙鞅廢黜他。但是趙鞅沒有聽從他的建議。從那以後，無恤和智伯之間就有了裂痕。趙鞅病重，告訴無恤：“如果晉國出現了困難，只有晉陽可以依靠，你要記住。”說完這句話，趙鞅就去世了。無恤繼承了趙家的家族，成為了趙襄子。這件事情發生在周貞定王十一年。那時，晉出公對四卿專權感到憤怒，秘密派人向齊國和魯國請求援兵，打算討伐四卿。然而，齊國的田氏和魯國的三家反而把這一計劃告訴了智伯。智伯非常生氣，聯合韓康子虎、魏桓子駒、趙襄子無恤，集合四家的軍隊，反過來討伐出公。出公逃奔到齊國。智伯立了昭公的曾孫驕為晉國國君，這就是哀公。從此，晉國的大權全部落入智伯瑤的手中。智伯瑤有了取代晉國的野心，召集家臣商議。智伯最終是成功還是失敗，讓我們在下一回中揭曉。