五十六歲的孔子黯然離開了魯國，帶著部分學生，開始長達十四年的流浪生涯。孔子周遊列國十四年，受盡了艱難困苦，其中在衛國前後三次時間最長，因此門人中衛國學生很多。孔子在衛國受到了禮遇，但卻沒有得到任用，在其他國家一樣沒有出仕。
孔子走遍天下，遊說諸侯，結交各國士大夫，無非忙於救世。孔子看富貴就像天上的浮雲一般，看功名就好似腳上的破鞋一樣。此時孔子已是智、仁、勇三者都具備的人。
孔子離開魯國共十四載，返國後，已是六十九歲。魯哀公見孔子回國，雖表熱烈歡迎，可惜懦弱無能，未重用孔子，孔子也不求仕途。這時周室衰微，禮樂廢、詩書缺，孔子便天天在杏壇上為弟子講學，並著書立說，至死未再離開魯國。
初次到衛國
孔子周遊列國的第一站，為什麼非要選擇衛國呢？原因主要有下面的四點：
其一、衛國與魯國同為兄弟之國，而且政治平穩，經濟文化又都比較發達。我們知道，此次孔子離魯遠遊，絕對不能去的就是齊國——這是前面我們介紹過了的。也正是因為如此，向西奔往同為兄弟之國、政治平穩、經濟文化又都比較發達的衛國，便是孔子和他的弟子們認真商議之後的唯一選擇了。
其二、衛國有孔子的好朋友——以賢德聞名的衛國大夫蘧伯玉。
其三、孔子的很多學生也來自衛國——如子路的妻兄顏仇由等。這些人在衛國有廣泛的社會關係。
其四、衛國還有孔子比較欣賞的一批不錯的大臣。
正因為如此，孔子滿懷希望地投奔了衛國。但讓孔子始料不及的是，這次，他只在衛國待了十個月，就被迫再次踏往繼續周遊的旅途。這又是為了什麼呢？話還要從孔子及其弟子來到衛國談起。
話說孔子及其弟子來到衛國的都城帝丘，子路帶著大家，來到妻兄顏仇由的家。顏仇由稟告衛靈公。大喜過望的衛靈公認為孔子是名揚天下的聖人，此來肯定可以為衛國效力，於是很熱情地招待了孔子及其弟子。
此時的衛靈公真的是經常就各種問題向孔老夫子請教。孔子呢？也是不厭其煩一一加以解答。這些內容，在《論語•衛靈公篇》裡面有著比較詳細的記我們在這裡略過不提。
單說此後不久的一次意外——衛國大夫公叔文子的兒子公叔戌叛逃事件，使孔子及其弟子很快就陷入到了尷尬的境地中。
公叔文子死後，公孫戌繼承了父親的爵位。由於既富且驕，因此衛靈公非常討厭公孫戌。於是，公叔戌與他的同夥一起密謀，準備除掉衛靈公的夫人南子及同黨，被南子發現，於是衛靈公驅逐了公叔戌及其同黨。公叔戌被迫逃到魯國。
而此前的孔子出於對公叔文子的尊重，曾和弟子多次與公叔文子和他的兒子公叔戌交往。正因為如此，公叔戌被驅逐後，孔子也遭到了衛靈公的猜疑。在這種情況下，公元前497年年底，孔子和眾弟子離開了僅停留了十個月的衛國，取道南下陳國。
匡地遇危機
孔子一行在去往陳國的路上必須要路過匡城。而就在匡城，孔子遇到了前所未有的危險。這是怎麼回事呢？
話還要從孔子的相貌談起。
孔子的相貌到底如何，我們不得而知。但是，司馬遷曾經幾次說到了孔子的相貌，其中一次說：孔子剛出生時頭頂中間下凹，四周隆起；另一次說：孔子身高九尺六寸，人們都稱他為「長人」，覺得他和一般人不一樣。《周禮•地官•鄉大夫》：「國中自七尺至六十，野自六尺以及六十有五，皆征之。」所以「八尺」就是身高者了，所以常說身高八尺，表示男子漢的長，而孔子九尺還要多六寸，說明孔子確實很高，估計可能要一米九左右了。所以人們稱他為「長人」了。這是孔子非常突出的相貌特徵。
第三次司馬遷是這樣寫的：孔子來到了鄭國，和學生們走散了，一個人站在外城的東門。鄭國有一個人對子貢說：「東門有一個人，他的額頭像堯，脖子像皋陶，肩膀像子產，從腰部以下比大禹短三寸，狼狽得像一條喪家犬。」
我們雖然不知道堯、皋陶、子產、大禹的長相，但可以琢磨出來，這決不是讚美的話，有意思的是當子貢如實向孔子匯報時，孔子卻高興地說：「他形容我的相貌，這無關緊要。要說我像一條喪家犬倒真是這樣！」這雖然是孔子的幽默，不過從這話裡看出來孔子或許真的天生異相。
不幸的是，孔子的長相像極了一個人——他的死對頭陽虎。這一回，您知道了危險地所在了吧？匡地的人誤以為孔子是曾經殘害過匡地人的魯國的陽虎，所以孔子被匡地人圍困了整整五天。
此時的孔子從容不迫，馬上派隨從向衛國的寧武子稱臣，然後在寧武子的幫助下，脫離險境。
兩度到衛國
離開匡城，孔子來到蒲地。一個多月後，再度返回衛國，住在蘧伯玉的家裡。此時，衛靈公的夫人南子，派人通知孔子說「四方的賢者想要會見衛靈公的，都必先來會見我，我是樂意見他們的。」
傳說，來自宋國的南子生得十分俏麗又富有風情，早年在宋國時即有人與她私通。為了她，衛國內部還發生過爭鬥。因此，與這樣的人相會，孔子還是有顧慮的。孔子在幾次推辭之後，迫不得已最終會見了南子夫人。
南子夫人在細葛布帷帳中等待，孔子趨入宮門，行一種最恭敬的跪拜禮，長時間北面叩頭碰地，並對南子說：「我以前未能前來行相見之禮，今特為禮報答您來了。」夫人在帷帳中兩次回拜答禮，她佩戴的環珮玉器首飾撞擊出清脆的叮噹聲。
而孔子的學生子路對孔子的做法很不高興。孔子就向子路解釋說：「我本來不願意見她，既然見了，就要按禮節行事。」子路還是不高興。孔子發誓說：「假如我做得不對，上天一定厭棄我！上天一定厭棄我！」
在衛國住了一個多月，靈公和南子夫人同坐一輛車，宦官陪待在車右。出宮後，靈公和南子夫人讓孔子乘坐第二輛車跟隨，大搖大擺地從市上走過。
孔子對靈公的作為感到厭惡，便離開衛國，到曹國去。不久，孔子又離開曹國到了宋國，和弟子在大樹下演習禮儀、宋國的司馬恆魋想殺害孔子，就把大樹砍了。隨後，孔子只得經鄭來到陳國。此時，正趕上晉、楚爭霸。兩國輪番討伐陳國。孔子只得離開陳國。
經過蒲地時，剛好遇上公叔氏憑據蒲地反叛，蒲人就扣留了孔子。孔子的弟子中有個叫公良孺的，自己帶著五輛車隨孔子周遊各地。他身材高大，有才德，有勇力，對孔子說；「我從前隨先生在匡地遇到危難，現在又在這裡遇到危難，這是命裡注定的吧？我和先生一再遭受災難，寧願搏鬥而死。」拚搏十分激烈。蒲地人害怕，只得放孔子從東門出去。孔子於是三度到了衛國。
衛靈公聽說孔子來，非常高興，親自到郊外迎接。此時，衛靈公因為年老而懶於政務，也不用孔子。孔子只好再度失望地離去。
其後孔子往返陳蔡多次。據《史記》記載：因楚昭王來聘孔子，陳、蔡大夫圍孔子，致使絕糧七日。解圍後孔子至楚，不久楚昭王死。孔子沒有受到楚國新君的重用。恰好此時的衛出公欲用孔子。於是孔子又返衛。在衛國，孔子雖受「養賢」之禮遇，但仍不受重用。
大聖人之死
公元前484年，魯國的實際掌權者季康子派人迎接孔子回國。孔子遂歸魯，時孔子年六十八。
孔子歸魯後，魯人尊以「國老」。一開始，魯哀公與季康子常以政事相詢，但終不被重用。孔子晚年致力於整理文獻和繼續從事教育。
孔子在周遊列國時，很思念魯國的弟子們：等到回到魯國後，又很想念當年相從出遊的弟子，那些弟子，或已死、或遠離，都不在門牆之內。六十九歲時，兒子伯魚年五十，竟先孔子而亡。孔子晚年喪子，其悲痛可想而知。
孔子七十一歲時，最得意的高足——顏淵以四十一歲之英年而謝世。顏淵無論是學問、德行、處世，都得孔子之真傳，顏淵死，孔子的道統也將無人繼承，所以孔子去弔喪時，哭得悲傷至極。
孔子晚年不如意的事接二連三，顏淵死後，子路在衛國為孔悝的邑宰，當時衛國父子爭國，孔悝有難，子路毫不畏難避死，竟奮勇犧牲了。子路死後被剁成肉醬，消息傳來，孔子哭於中庭，肝腸寸斷。
在孔門弟子中，子路最年長，顏淵最年幼，他們同為孔子所鍾愛。這兩位高徒，都先孔子亡故，孔子因此日益哀傷。顏淵死，孔子說：「天喪予。」魯哀公十四年四月，陳恆殺齊君，孔子沐浴正冠請討伐陳恆。然而魯國君臣上下，對這篡殺之事，毫無反應。這年春天，正好有西狩獲麟之事，孔子感慨更深，因此輟簡廢業，《春秋》之作，因而絕筆。
麒麟應是祥瑞之獸，何以孔子反長嘆道：「我道窮矣！」因自古以來，麒麟出現，一定是明君在位，百姓知其為祥兆，均不忍傷其生。魯國當時，政治紊亂，並無明君在位，麒麟出現又遭殺害，這好比孔子一生未遇明君，雖有救世之道，終不能行於世，故而自怨道窮，不再提筆著作。
有一天子貢退朝之後，直接來看孔子，一進大門，只聽得孔子嘆息而歌道：「泰山其頹乎？樑木其壞乎？潔人其萎乎？」子貢一聽，心中深知不祥，便趕緊急赴入內。孔子見到子貢，便愀然嘆息道：「賜啊！你為何來得這樣遲呢？我因為有事要告訴你，已等候好一會了！賜啊！我近夜常夢到不祥的夢，大概是將要死了。」子貢趕緊寬言安慰。其他弟子陸續來到，大家對老師安慰有加，可是，孔子從此便一病不起，七天之後，一代聖哲便與世長辭了。
公元479年，孔子去世。孔子埋葬在魯城北的泗水岸邊，弟子們都服喪三年。三年後，相互告別而去。只有子貢在墓旁搭了一間小屋，守墓共六年，然後才離去。弟子們與魯國的其他人，前往墓地居住的一百多家，因而把這裡命名叫「孔裡」。
魯國世世代代相傳，每年按時到孔子墓地祭拜，而儒生們也在孔子墓地講習禮儀，舉行鄉飲、射箭等活動。孔子的墓地有一頃大。孔子故居的堂屋及弟子們居住的內室，後來就改成廟，收藏孔子用過的衣冠、琴、車、書籍等物，直至漢代二百餘年沒有廢棄。
