司馬懿了做曹操司空掾，與曹丕關係甚為密切。
曹操看著他猶疑不定的眼神時刻閃爍著深不可測的陰沉的光，漸漸察覺他有“雄豪異誌”，對他生了疑心。
建安十三年（208年），曹操任丞相後，荀彧推薦人才，再次推薦司馬懿。曹操便發起文書，任司馬懿為文學掾，讓司馬懿陪伴輔佐兒子曹丕；沒讓他輔佐自己最喜歡的曹植、曹衝。
任文學掾與司馬懿理想相悖謬，他的理想是主管軍務或行政，心裏很不痛快。但令者傳了曹操“若不就任立即收監”的話，司馬懿畏懼，隻得就職。曹操讓他與曹丕交遊，主要是看中了他的文學才能，不讓他參與軍事與政事。
司馬懿與崔琰、楊俊、程昱私交甚好，他輔佐曹丕讓他仨也支持曹丕。司馬懿到曹丕身邊反而增強了曹丕的力量。司馬懿勤於職守，廢寢忘食。當時曹操手下的門閥官僚擁漢者很多，司馬懿私下多次向曹操表示堅決支持他，漸漸讓曹操對他減少了戒心。
曹操平定北方後，在建安十三年（208年）正月回到鄴城後，立即開始了向南用兵的軍事上和政治上的準備。派蔡瑁、張允鄴鑿玄武池訓練水軍；派遣張遼、於禁、樂進等駐兵許都以南，準備南征；令馬騰及其家屬遷至鄴，做了實際上的人質，以減輕西北方向的威脅；
在做好了南征準備後，曹操親率雄師，飲馬長江，讓環氏、曹彰、曹植隨大軍出發南征，仍派曹丕在後方籌集糧草。
曹丕從父親的分工中，再一次感到自己在父親心目中地位的無足輕重，悶悶不樂。
司馬懿勸曹丕道：“這次隨丞相南征未必是件好事。若丞相穩紮穩打尚能建立奇功。若想一舉平定江南，必遭失敗。你可把此話提前說給承相聽，隻安心做好籌糧一事就行了，事後必定能得到丞相的歡心。”
臨行，一家人在內府為曹操送行。卞夫人對丈夫千叮嚀萬囑咐。曹操勸她回房休息。
其他小妾哭哭啼啼。曹操怒道：“哭什麽？等我凱旋而歸。”
內人回府。府外，許多官員來為曹操送行。
曹植慷慨激昂，吟詩一首：“群雄正翕赫（盛怒），雙翹自飛揚。揮羽激清風，悍目發朱光。嘴落輕毛散，嚴距（雄雞爪子後麵突出像腳趾的部分）往往傷。長鳴入青雲，扇翼獨翱翔。”
曹操聽了“哈哈”大笑，自豪地讚美曹植的詩才。
曹丕對父親小聲道：“父親照顧好身體。孩兒有句要緊話不知當講不當講。”
曹操道：“但講無妨。”
曹丕便學說了司馬懿的原話。囑咐父親到江南穩紮穩打，千萬不能貪快圖大，若想著一舉平定江南，會不利的……
曹操沒等曹丕把話說完，便大怒：“我今日出征，想不到你竟然說出此等混賬話來！”
曹丕一時不知說什麽是好，一時間張著嘴無言以對。來送曹操的司馬懿附曹丕耳邊提醒：“公子該哭才是。”
曹丕一急，真的淚水奪眶而出，哭得十分真誠。
曹操與百官都認為曹丕孝順。
二零八年七月，曹操揮軍南下。八月，荊州劉表病死，曹操接受了荀彧的意見，抄捷徑輕裝前進，迅速到達宛、葉之地，直逼劉表次子繼承劉表官爵的劉琮。
章陵郡太守蒯越和東曹掾傅巽等勸劉琮投降曹操：“逆順有一定道理，強弱有一定形勢。以臣屬的身份去抗拒天子，是對國家叛逆；以剛接手的荊州去抵禦朝廷大軍，必會陷入危險；依靠劉備去對抗曹操，必定失敗。這三方麵我們都不行，拿什麽去對付曹操大軍？將軍您自己考慮一下，您比得上劉備嗎？如果劉備擋不住曹操，那麽你即使投入荊州的全部力量，也不足以自保；如果劉備擋得住曹操，他就不會再居於將軍之下了。”
曹操一路勢如破竹，到達新野，劉琮聽從章陵郡太守蒯越和東曹掾傅巽的意見，派人用朝廷過去頒發的符節去迎接曹操，把荊州獻給了曹操。
開始，曹軍將領都疑心劉琮是詐降。
曹操道：“現在天下分裂，各地割據勢力都貪圖用代表王命的符節來抬高自己的身份。這次送來符節，這必定是真心誠意。”曹操接受了劉琮的投降。
曹操南下的消息，依附劉表、屯兵樊城的劉備一無所知，直到曹軍到達宛地附近時才發現，就派諸葛亮詢問劉琮。劉琮沒見諸葛亮，讓下屬宋忠轉告了他降曹的決定，讓諸葛亮轉告劉備。劉備聽後既驚駭又氣憤，隻好立即棄樊城南逃。
曹操聽說江陵儲有大量軍用物資，擔心劉備先到，占據了江陵，就留下輜重，輕裝前進。曹操到達襄陽後，聽說劉備已經落荒而逃，親率五千精銳騎兵急速追趕。劉備一天一夜跑了三百餘裏，在當陽縣的長阪坡又被曹軍追上。劉備拋下妻子及兒子，與諸葛亮、張飛、趙雲等數十人騎馬逃走。曹操俘獲了大量的人馬輜重。
曹操占領了江陵，任命劉琮為荊州刺史，並封他侯爵，連同蒯越等人，被封為侯爵的一共有十五人。曹操下令從獄中釋放了劉表別駕曾建議劉表遣子入質降曹的韓嵩，用朋友禮節接待了他，讓韓嵩評價荊州人士的優劣，被韓嵩評為優秀的人士都加以提拔任用。任命韓嵩為大鴻臚，蒯越為光祿勳，劉先為尚書，鄧羲為侍中。
曹操出師南征，捷報頻傳。許都不斷收到將士奮勇殺敵，曹彰屢建奇功，曹植深得讚賞的消息。朝廷上下一片讚譽之聲。曹丕聽到消息，既高興又擔心。他為父親出師告捷高興，為弟弟守著父親建奇功擔心。自己在後方，征糧有荀彧與夏侯淵操心辦理，整天無所事事，備感不安。在許都還收到劉備拋下妻子及兒子，與諸葛亮、張飛、趙雲等數十人騎馬逃走的消息，許都人評論劉備私心太重，在緊急時刻，他已經是多次拋妻舍子獨自逃命了。
曹操占有荊州的土地。中原部隊十五六萬人，新收降的劉表軍七八萬。曹操南征荊州時，從十五六萬北方軍人中抽調出步兵八萬人、騎兵一萬餘人，但調集來南征的軍隊沒有全部參戰。旱路運輸限製了出戰的兵力。在一條線上，上限兵力隻能是五六萬人。超過此數，不僅道路擁塞，後勤也無法保障。
荊州兵，總數可達七八萬，但長沙、桂陽、零陵、武陵等南四郡剛被撫定，曹軍能動用的僅有集結在襄陽等地的二萬多人。曹操留徐晃駐紮樊城，令曹仁鎮守江陵，親率約七八萬東征軍，號稱八十萬向東吳進發。曹操設想一舉拿下孫權，統一江南大部。
此時，東進軍好不威風。江兩岸走著步兵，江中行進著曹軍水師與劉表所訓練的水軍的舟船，包括數以千計的蒙衝戰船，可謂旌旗蔽日，舳艫千裏，沿長江而下。水軍步兵，水陸並進，浩浩****，威武雄壯。
深秋的天空一碧萬頃，秋雁高飛。江水濤濤，浪花飛濺。
此時，曹操的東進軍好不威風。江兩岸走著步兵，江中行進著曹軍水師與劉表所訓練的水軍的舟船，包括數以千計的蒙衝戰船，可謂旌旗蔽日，舳艫千裏，沿長江而下。水軍步兵，水陸並進，浩浩****，威武雄壯。
當天晚上夜明月皎潔，習習的風頗有些涼意。江水中倒映著如巨龍似的戰船的影子。曹操在江中船上置酒備樂，歡宴諸將。酒酣，曹操取槊（長矛）立於船頭，慷慨而歌：
青青子衿，悠悠我心。但為君故，沉吟至今。
呦呦鹿鳴，食野之蘋。我有嘉賓，鼓瑟吹笙。
明明如月，何時可掇？憂從中來，不可斷絕。
剛打勝仗，人人受賞，士氣高昂。岸上，水中，諸將歡呼，掌聲雷動，一片歡慶勝利的欣喜。
曹丕聽說了孫權與劉備聯合的事情，又聽到父親要領兵攻打東吳的消息，便想起了司馬懿的話，不免為父親擔心起來。父親攻打東吳，如果司馬懿預言成真，事情可就慘了。