孔子不被衛君重用，打算去趙簡子那裏找機會。在黃河邊上，傳來了趙簡子的大臣竇鳴犢和舜華被殺的消息，孔子看著浩瀚的黃河，歎氣說：“壯美的黃河水啊，浩浩****!我之所以不能渡過黃河，也許是命運的安排吧!”
孔子到了衛國，衛靈公問孔子：“先生在魯國時，領多少俸祿?”孔子回答：“粟米六萬小鬥。”衛國於是也給他粟米六萬小鬥。在衛國住下來不久，有人在衛靈公麵前誹謗孔子。靈公於是就派公孫餘假帶兵監視孔子。孔子害怕無辜獲罪，所以，在衛國住了十個月後，又離開了衛國。
孔子準備去陳國。路過匡城的時候，弟子顏刻趕車，顏刻用馬鞭指著匡城城牆的一角說：“以前我來這個城的時候，是從那個缺口進去的。”匡地人聽到了顏刻的話，誤以為他是魯國的陽虎。陽虎曾經與匡城人有仇，匡城人於是就圍困了孔子。孔子的長相特別像陽虎，所以被圍困了整整五天。後來，弟子顏淵趕到，孔子怪他來得晚，生氣地說：“我還以為你死了!”
顏淵回答：“老師還健在，弟子我怎麽敢先死!”
匡城人圍得越來越緊，弟子們都很害怕，孔子安慰他們說：“周文王已經死了，可是周代的禮樂製度，不是還保存在我們這裏嗎?上天如果要讓這種製度失傳，就不會讓後人見識它和維護它。如果上天不想毀滅這種製度，那就不會讓我們死去，那麽匡城人又能對我們怎麽樣?”隨後，孔子派人向衛國寧武子稱臣，終於脫離了險境。
脫離險境之後，孔子來到了蒲地。過了一個多月，又返回了衛國，住在蘧伯玉的家裏。衛靈公有個夫人叫南子，南子派人對孔子說：“各國的君子，隻要是看得起我們國君，想和我們國君友好往來的，必定會來拜見我們夫人。夫人願意會見你。”按照當時的習慣禮儀，女人是不該參與政事的，也不能輕易會見他人。所以，剛開始，孔子推辭不去，最後不得已，隻好去見。
南子夫人在帷帳中等待，孔子進門，跪拜行禮。夫人在帷帳中回拜答禮，所佩帶的玉器首飾互相撞擊，發出清脆的叮當聲。會見結束後，孔子出來，對弟子說：“我本來不願意見她，但是既然見了，就要符合禮節。”子路還是覺得老師做得不對。孔子於是發誓說：“假如我做得不對，那就讓上天厭棄我!讓上天厭棄我!”在衛國住了一個多月之後，有一天，靈公和夫人同坐一輛車，由宦官陪侍在車右，讓孔子乘坐另外一輛車跟隨，大搖大擺地從市麵上走過。孔子對靈公的做法感到不滿，說：“在德行與美色之間，更喜歡德行的人，實在是太少啊!”於是便離開衛靈公，去了曹國。
在曹國住了不久，孔子又到了宋國，經常與弟子們在大樹下演習禮儀。宋國的司馬怨恨孔子，就把大樹砍了。孔子隻好離去。因為宋國司馬想殺害孔子，所以弟子們催促孔子說：“我們得快點走!”孔子說：“上天既然賦予我傳播道德的使命，他又能把我怎麽樣!”
到了鄭國，孔子與弟子們走散了，一個人站在外城的東門。鄭國有人對子貢說：“東門站著個人，他的額頭像堯，脖子像皋陶，肩膀像子產，然而，腰部以下要比禹短三寸，狼狽得像一隻喪家之犬。”後來，子貢如實地告訴了孔子。孔子哈哈大笑說：“他怎麽形容我的相貌，都無所謂。但說我像一隻喪家之犬，真的是太準確了!真是這樣啊!”
孔子又到了陳國，住在司城貞子家裏。有一天，許多隻鷹落在陳國宮廷，隨即死掉了，檢查發現，它們的身體被一種箭射中，箭頭是石製的，箭長一尺八寸。陳君派人問孔子是怎麽回事，孔子說：“這些鷹是從遙遠的地方飛來的，箭是肅慎部族的箭。從前，周武王滅商之後，與各個偏遠的少數民族取得了聯係，讓他們向周王朝貢獻地方特產。肅慎族貢獻的就是這種箭。周武王為了顯示他征服遠方的功績，把肅慎族貢獻的箭分給了長女大姬，大姬嫁給了虞胡公，而胡公後來被分封在了陳國。那時候，周室經常把珍寶玉器贈送給同姓諸侯，表示重視親族；還把遠方的貢品贈送給異姓諸侯，提醒他們勿忘服從王命。所以，肅慎族貢獻給周室的箭，以前就曾經分給過陳國。”
陳君派人到收藏貢物的倉庫裏搜尋，果然找到了這種箭。於是對孔子的博學大為佩服。
孔子在陳國住了三年。三年之中，晉楚爭霸，兩國輪番攻打陳國，吳國有時候也來侵犯，陳國總是遭到襲擊。孔子尋思：“算了!我還是回去吧!我家鄉的弟子們雖然做事迂闊一些，但是誌向遠大，有進取心，還沒有忘記自己的理想。”於是孔子離開了陳國。
經過蒲地時，剛好碰上蒲人反叛，孔子等人被扣留。有個叫公良孺的孔門弟子，帶著五輛車追隨孔子周遊列國。他身材高大，有力氣，有才德，他對孔子說：“從前跟隨先生，在匡城被圍困過，現在又在這裏陷入困境，這是命中注定的吧?我跟先生您一再遭受磨難，受夠了，我寧願搏鬥而死。”戰鬥非常激烈。蒲地人害怕了，就對孔子說：“如果你們不去衛國，就放你們走。”孔子同意，與蒲地人訂立了盟約，然後，蒲地人放孔子從東門出去。孔子出來之後，還是到了衛國。弟子子貢不解：“我們訂立了盟約，怎麽可以違背呢?”孔子回答：“受人脅迫而簽訂的盟約，神靈是不會認可的。”
衛靈公聽說孔子來了，很高興，親自到郊外迎接。見到孔子，靈公問：“蒲地該不該討伐?”孔子回答：“可以討伐。”靈公說：“可是我的大夫們認為不合適。因為，蒲地是防禦晉楚的屏障，衛國要是討伐它，恐怕不太合適。”孔子於是解釋說：“蒲地的男子有誓死效忠衛國的決心，婦女也有保衛這塊土地的願望。我所說要討伐的，是指現在叛亂的幾個頭目。”靈公說：“好的。”然而說過就算了，並沒有派兵去平定蒲地的叛亂。
當時的靈公歲數已經大了，自己懶得處理國家政務，也不起用孔子。孔子感歎說：“唉!如果有人用我主持國政，那麽一年之內就可以變樣，三年之後就會大見成效。”但是感歎也沒有用處，靈公還是不任用孔子，孔子隻好離去。
孔子不得誌，有一天，心緒不寧，就敲打鍾磬，發出聲響。門前有一個身背草筐的人路過，聽了磬聲，就說：“這個敲磬人，好像有情緒啊!磬敲得叮叮當當這麽響，有什麽用昵?既然沒人賞識你，就算了吧!”
孔子向師襄學習彈琴，一連十天都沒學新曲子。師襄說：“現在你可以學習新曲了。”孔子說：“我已經熟悉這首曲子了，但還沒有掌握彈奏的要領。”過了一段時間，師襄說：“你已經掌握了彈奏的要領，可以學新曲了。”孔子說：“我還沒有體會到樂曲裏麵蘊涵的誌向昵!”又過了一段時間，師襄說：“你已經體會到了樂曲的誌向，應該換新曲了。”孔子說：“可是我還沒有感受到曲作者是什麽樣的人。”又過了一段時間，孔子表現出了視野寬廣、誌向高遠的神態，說：“我感受到作者是怎樣的人了!他皮膚黝黑，身材高大，目光明亮，能高瞻遠矚，好像是統治四方諸侯的王。除了周文王，還有誰能達到這種境界呢?”師襄聽了，離開座位，向孔子拜了兩拜，說：“我老師以前說過，這首曲子名叫《文王操》。”
孔子不被衛君重用，打算去趙簡子那裏找機會。在黃河邊上，傳來了趙簡子的大臣竇鳴犢和舜華被殺的消息，這個消息對孔子打擊很大。孔子看著浩瀚的黃河，歎氣說：“壯美的黃河水啊，浩浩****!我之所以不能渡過黃河，也許是命運的安排吧!”弟子子貢跑上來問：“請問先生，您這是什麽意思?”
孔子回答：“竇鳴犢和舜華，都是晉國有才有德的大夫。趙簡子還沒有得誌的時候，是依靠了這兩個人的輔佐，才得以取得了政權。可是，現在趙簡子得誌了，竟然殺了他們。我聽說，剖腹取胎、殺害幼獸，麒麟就不願降臨；排幹池水捉魚，蛟龍就不肯調和陰陽、降雨利民；破壞鳥巢、打碎鳥蛋，鳳凰就不願飛到這裏來。為什麽呢?因為君子不應該殺害他的同類。對於不義的行為，鳥獸尚且知道躲避，何況我孔丘呢!”
於是，孔子便放棄了到趙簡子那裏去的想法，回到了老家陬鄉休養，在老家，創作了《陬操》琴曲，以哀悼竇鳴犢和舜華兩位賢人。過了一段時間，又返回了衛國，住在蘧伯玉家裏。
衛靈公不重視修行德政，對孔子提倡的禮儀也不感興趣，反而喜歡研究用兵打仗，孔子很失望。有一天，衛靈公向孔子請教打仗布陣的事，孔子就說：“祭祀和禮儀，我倒是知道一些，可是打仗布陣的事，我一點都不知道。”第二天，靈公和孔子談話時，有雁群從頭上飛過，靈公於是就抬頭仰望雁群，好像孔子不存在似的。孔子於是離開了衛國，又到了陳國。
魯哀公三年，孔子六十歲。夏天的時候，魯桓公、釐公的廟失火，南宮敬叔去救火。孔子當時在陳國，聽到魯廟失火的消息，就猜測說：“火災一定是發生在桓公和釐公的廟吧?”不久得到證實，果然被他說中了。
秋天，季桓子病重，乘輦車遙望魯城，長歎說：“唉，想當初，這個國家差不多就要強盛起來，可是因為得罪了孔子，所以直到今日還是這個貧弱的樣子。”說完，回頭對他的繼承人季康子說：“我死之後，你肯定會當魯國的丞相。你當了丞相，一定要召回孔子。”幾天之後，季桓子去世，季康子接替了他的職位，想召孔子回來，可是公之魚提醒他說：“從前，我們先君任用他，可是沒有善終，最後被諸侯恥笑。現在又任用他，假如還是半途而廢，是會再次被諸侯恥笑的。”康子問：“那麽召誰來更合適呢?”公之魚說：“非孔子的弟子冉求莫屬。”
於是，季康子就派人去召冉求。冉求接受了邀請，準備前往。孔子對別人說：“魯國派人召回冉求，不會小用，他肯定會得到重用。”就在同一天，孔子還自言自語說：“唉，我還是回老家去吧!回去吧!我這些弟子誌向遠大，但做事迂闊，真不知道該怎麽教育他們。”弟子子貢了解老師的心態，知道孔子心情不好，所以在送別冉求時，偷偷叮囑冉求：“如果你被重用了，一定要設法把老師也召回去!”
冉求離去以後，過了一年，孔子從陳國移居到了蔡國。又過一年，又從蔡國遷到葉邑。葉公向請教治國的訣竅，孔子說：“為政的關鍵，在於招納賢人，使人歸服。”有一天，葉公向子路了解孔子的情況，子路沒有回答。孔子知道這件事後，對子路說：“你可以回答他說：‘他這個人，學習知識不知滿足，教導別人不會厭倦，學習時會忘了吃飯，快樂時就忘記憂愁，以致意識不到自己快要老了。’”
離開葉邑，重回蔡國。在路上，看見長沮和桀溺在田裏耕作，孔子知道他們是隱士，就讓子路前去打聽渡口在哪裏。
長沮問：“車上那位拉著韁繩的人是誰呀?”子路回答：“是孔子。”長沮問：“是魯國的孔子嗎?”子路回答：“是啊。”長沮說：“他那麽聰明博學，他自己就應該知道渡口在哪裏。”桀溺問子路，“你是誰?”子路回答：“我是子路。”桀溺說：“你是孔子的學生嗎?”子路回答：“是啊。”桀溺說：“天下到處都動**不安，誰能改變這種局麵呢?你們為躲避暴君亂臣而到處奔波，還不如像我們一樣，為躲避亂世而隱居呢!”說完，就繼續幹起活來，不再搭理子路。子路隻好返回，如實告訴孔子。孔子聽了，失望地說：“唉!可是，我們不可能像他們那樣，居住在山林裏，與鳥獸同群。要是天下太平，我也就用不著為了改變這種局麵而四處奔波了。”
另一天，子路與孔子走散了，遇見了一位肩扛除草工具的老農，問：“請問，您見到我的老師了嗎?”老農說：“你們這些人，從不勞動，連五穀都認不全，還敢自稱老師!”說完，就自顧自地拔起草來，不再理會子路。子路把這件事情的經過也告訴了孔子，孔子說：“他是位隱士啊!”可是等子路回去找時，老農已經走了。
孔子遷居到了蔡國。第三年，吳國討伐陳國，楚國發兵援救陳國，駐紮在城父。楚王聽說孔子住在陳、蔡邊界上，就派人去聘請孔子。孔子準備前往，這時候，陳蔡兩國的大夫暗中商議說：“孔子是有才有德的聖人，總是能洞察諸侯各國的弊病。他久居陳、蔡之間，卻不能被大夫們接受，不被兩國重用。而楚國是個大國，卻來聘請孔子。假如孔子被楚國重用，那麽陳、蔡兩國的君王和大臣就都危險了。”於是，兩國派人把孔子圍困在野外。
孔子和門徒都被圍困，走投無路，連飯都吃不上了。隨從的弟子有的已經餓病，都無精打采的。可是孔子還是照常不停地給弟子講學、吟詩、唱歌、彈琴。子路對這種隋況不滿，遷怒於老師，於是麵帶怒色地見孑L子說：“君子難道也會陷於困境嗎?”孔子說：“是的。不過，君子麵對困境，仍能堅守節操，毫不動搖；而小人遇到困境，那就什麽事都幹得出來。”
孔子知道弟子們心裏動搖，於是問子路：“依你看，我們為什麽會落到這種地步昵?難道我們的學說不對嗎?”子路說：“可能是我們的德行還不夠吧!所以人家才不信任我們。可能我們的智謀還不夠吧!所以人家才不放我們走。”孔子說：“你這是什麽道理呢?如果有仁德的人就必定受人信任，那伯夷和叔齊怎麽會餓死在首陽山呢?如果有智謀的人就肯定暢行無阻，那王子比幹怎麽會被剖心呢?”
子路出去，子貢進來相見。孔子問：“依你看，我們為什麽會落到這種地步呢?難道我們的學說不對嗎?”子貢說：“先生的學說不是不對，而是博大得過分了，所以，天下任何一個國家都無法容納先生。先生為什麽不稍微降低點要求呢?”孔子說：“有經驗的農民會種莊稼，但不能保證肯定有收獲；好的工匠手藝精巧，但他製造出來的器具，不見得能讓所有人喜歡。君子修煉自己的學說，不一定馬上被社會所容納。現在你不去修煉自己的學說，反而想降低標準，求人容納。唉，你還是缺乏遠大的誌向啊!”
子貢出去，顏回進來相見。孔子問：“依你看，我們為什麽落到這種地步呢?難道我們的學說不對嗎?”顏回說：“先生的學說博大到了極點，所以沒有哪個國家能容納得了。雖然這樣，先生還是應該堅持推行自己的學說，即使不被天下容納，那又怎麽樣呢?對我們來說，學說得不到修煉和提高，那才是自己的恥辱。至於學說不被采用，那是國家當權者的恥辱。”
孔子聽了，欣慰地笑著說“對啊，就是這樣!你才是我的好學生!如果有朝一日你成了大富翁，我願意去做你的管家。”
後來，孔子派子貢到楚國。楚昭王派軍隊來迎接孔子，這才解救了困境。
到了楚國，楚昭王想把七百裏地封給孔子。可是楚國的令尹子西不同意。
子西問昭王：“大王派往諸侯國的使臣，有像子貢這樣優秀的嗎?”
昭王回答：“沒有。”
子西問：“大王的輔佐丞相，有像顏回這樣出色的嗎?”
昭王回答：“沒有。”
子西問：“大王的將帥，有像子路這樣的嗎?”
昭王回答：“也沒有。”
子西問：“大王的各位主管官員，有像宰予這樣能幹的嗎?”
昭王說：“還是沒有。”
子西於是說：“楚國的始祖受封於周天子的時候，封號隻不過是子男爵，土地隻不過五十裏。而如今的孔子，精通三皇五帝的治國方法，有誌於像周公和召公那樣的事業，大王如果給了他機會，那麽楚國還能保住世世代代傳下來的方圓幾千裏的土地嗎?當初周文王和周武王都隻是土地百裏的君王，可是最終稱王於天下。現在孔丘如果擁有七百裏土地，又有那麽多精明強幹的弟子輔佐，這對楚國來說，可不是什麽好事情。”
昭王於是打消了原來的想法。孔子還是得不到重用。
楚國裝瘋賣傻的隱士接輿，有一天來到孔子的車旁邊，唱到：“鳳凰啊，鳳凰!你的學說和道德為什麽如此不受重視!過去已經無法挽回，未來的卻還可以追求。算了吧，算了!現在從政的，可是很危險的啊!”孔子聽了，趕緊下車，想和他談談，但接輿卻快步走開了。
不久之後，孔子離開了楚國，返回了衛國。這一年，孔子六十三歲。
第二年，吳國和魯國會盟，吳國要求魯國提供一百頭牛和一百頭羊作為祭品。魯國的季康子派子貢前去交涉，然後吳國才放棄了這個過分的要求。
孔子說：“魯國和衛國的政治，像親兄弟一樣相似。”衛出公想讓孔子來執政。子路問孔子：“衛君等著先生前去執政呢，先生打算怎麽邁開第一步呢?”孔子說：“首先要正名分!”子路說：“先生您太陳腐了吧，為什麽要正名呢?”孔子說：“名分不正，說話就沒分量，說話沒分量，就辦不成事，辦不成事，禮樂就無法興盛，禮樂不興盛，刑罰就無法做到恰當，刑罰不恰當，百姓就會手足無措，不知道怎麽做才對。所以，君子辦事，首先必須符合名分，在這個基礎上，要注意自己的言談，不能馬虎。”
一年後，孔子的學生冉有統率魯國軍隊，與齊國作戰，打了勝仗。季康子問：“先生的軍事才能如此出眾，請問是學來的呢，還是天生的?”冉有回答：“是從孔子那裏學來的。”季康子說：“孔子是什麽樣的人昵?”冉有回答：“您要是準備任用他，首先必須要讓他有正當的名分，這樣他才能施行德政，造福於百姓。如果您想讓孔子像我一樣去打仗，那麽無論您封給他什麽，先生都不會答應。”季康子問：“我想召他回魯國，你看可行嗎?”冉有回答：“如果您召他回來，就不要讓小人阻礙他，那就沒問題。”
當時，衛國的孔文子想攻打太叔，向孔子谘詢怎麽打好。孔子借口不懂軍事，謝絕了。回到住處，他馬上備車，準備離開衛國。孔文子知道了，堅決挽留。正巧，這個時候，魯國的季康子派人攜帶厚禮來迎接孔子，於是孔子就回魯國去了。
孔子離開魯國共十四年，經曆了很多波折才返回魯國。
回國後，魯哀公向孔子請教治國之道，孔子回答：“治國之道，最重要的是選擇合適的大臣。”季康子也向孔子請教怎麽治國，孔子說：“任用和推薦正直的人，拋棄心術不正的人，這樣下去，即使是心術不正的人，也會慢慢變得正直。”然而事實上，魯國最終還是沒有真的重用孔子，對此，孔子並不感到意外。而且，他並不追求官位，所以也並不苦悶。