曹操讓他與太子往來遊處，歷任黃門侍郎、議郎、丞相東曹屬、丞相主簿等職。
而據《魏略》則記載，司馬懿好學，曹洪自以為才疏，
想讓司馬懿去幫助他，司馬懿恥於和曹洪來往，假裝拄拐不去。
曹洪記恨司馬懿，去跟曹操打小報告，曹操徵召司馬懿，
司馬懿立刻扔了柺杖去見曹操為其效命。
曹操逐漸察覺司馬懿“有雄豪志”，又發現他有“狼顧之相”，心裡很忌諱。
因此對曹丕說，司馬懿不是甘為臣下的人，必會干預我們的家族之事。
但因曹丕和司馬懿關係很好，總是維護他，而得以無事，
於是，司馬懿勤於職守，廢寢忘食，遂使曹操安心。
建安二十年（215年），曹操征討張魯，司馬懿隨軍。
他對曹操說：“劉備用詭計俘虜劉璋，蜀中之人還未曾歸附他就又興兵爭奪江陵，
這正是破劉的大好時機。今若在漢中陳兵示威，益州（指蜀地）就會震動不安，
再進兵威逼，蜀兵勢必瓦解。趁這個機會，一定能大功告成。
聖人不能違時，也不能失時。”但是曹操卻說：“人苦於不知足，
已經得到了隴右，還想得到蜀地，這是人心無足。”
所以沒有聽從司馬懿的計策。
建安二十二年（217年），司馬懿跟從曹操南征孫權，大破孫權。
大軍回軍之後，孫權遣使乞降，向曹操上表稱臣，陳說天命，勸說曹操稱帝。
，！
曹操說：“孫權小兒這是想要把我放在爐炭上啊！”
司馬懿對答說：“漢朝的國運將要終結，您十分天下而有其九，還臣服聽命於漢。
如今孫權稱臣，是順應天人之意。”
建安二十四年（219年），司馬懿升任太子中庶子，佐助魏太子曹丕。
當時司馬懿每次參與謀劃，都有奇策，所以為曹丕所信任和重用，
與陳群、吳質、朱鑠[shuo]並稱“四友”。
司馬懿轉任軍司馬，建議屯田解決糧食問題，得到曹操的採納。
他指出荊州刺史胡修粗暴，南鄉太守傅方驕奢，都不應駐守邊防，曹操未予重視。
同年八月，漢水流域因為天降暴雨而發生了“漢水溢流，害民人”的自然災害。
關羽趁機乘船進攻，擒于禁、斬龐德。胡、傅二人果然乘機降蜀。
因漢獻帝在許昌，距樊城很近，曹操感到威脅，
為避關羽鋒芒，一度準備遷都黃河以北。
司馬懿和曹椽蔣濟及時勸阻說：“于禁被大水所淹，不是戰守上的失誤，
對於國家的大局並沒有大損失，為此而遷都，即是向敵人示弱，
又會使淮河、漢水一帶人心不穩；劉備、孫權外親內疏，如今關羽坐大，
孫權必定不安，把這件事告知孫權，使他牽制關羽，則樊城之圍自解。”
曹操從其計，孫權果然派呂蒙襲取公安，關羽被其俘殺。
之後曹操認為荊州遺民及在潁川屯田的軍民逼近南方的敵對勢力，想把他們遷走。
司馬懿認為：“荊楚之民大多輕脫，輕易移動怕是難以安定。
如今關羽剛剛被擊破，藏竄逃亡者也在觀望時局。如今將那裡的人遷徙，
既傷當地人的心意，也令想要回來的人不敢復還。”
曹操聽了他的建議，沒有移民。之前藏竄逃亡者果然都復出歸化。
建安二十五年正月庚子日（220年3月15日），曹操去世，朝野危懼，
司馬懿管理喪葬諸事，內