孔子說：「竇鳴犢、舜華兩個人，都是晉國有才德的大夫。 當趙簡子還沒有得志的時候，是依靠這兩個人才得以從政的；等到他得志了，卻殺了他們來執掌政權。我聽說過，一個地方剖腹取胎殺害幼獸，麒麟就不到它的郊 野，排干了池塘水抓魚，那麼龍就不調合陰陽來興雨了，傾覆鳥巢毀壞鳥卵，鳳凰就不願來這裡飛翔。這是為什麼呢？君子忌諱傷害他的同類。那些鳥獸對於不義的 行為尚且知道避開，何況是我孔丘呢！」於是便回到老家休息，創作了琴曲《陬zou1操》來哀掉竇鳴犢、舜華兩位賢人。隨後又回到衛國。不久又去了陳國。

這一年夏天，魯桓公、厘公的廟堂著火了。孔子在陳國聽到了這個消息，就說：「火災一定在桓公、厘公的廟堂吧？」不久證實，果然如他所言。

這年秋天，魯國重臣季桓子病重乘著輦車望見魯城，長歎一聲說：「從前這個國家幾乎興旺了，因為我得罪了孔子，所以沒有興旺起來。」回頭又對他的嗣子季 康子說：「我要是死了，你一定會接掌魯國的政權佐國君；你佐國君之後，一定要召回孔子。」過了幾天，季桓子死了，季康子繼承了他的職位。喪事辦完之後，想召回孔子。大夫公之魚說：「從前我們的魯定公曾經任用過他，沒能有始有終，最後被諸侯恥笑。現在你再任用他，如果也不能善終，這會再次招來諸侯的恥笑。」 季康子就派人召回了孔子的徒弟冉求。

冉求離去之後，第二年，孔子從陳國移居蔡國。次年，孔子又從蔡國前往葉地。葉公問孔子為政的道理，孔子說：「為政的道理在於招納遠方的賢能，使近處的人歸服」。

孔子遷居到蔡國三年，吳國攻打陳國。楚國救援陳國，軍隊駐紮在城父。聽說孔子住在陳國和蔡國的邊境上，楚國便派人去聘請孔子。孔子正要前往拜見接受聘禮，陳 國、蔡國的大夫商議說：「孔子是位有才德的賢人，他所指責諷刺的都切中諸侯的弊病。如今的楚國，是個大國，卻來聘請孔子。如果孔子在楚國被重用，那麼我們陳蔡兩國掌權的大夫們就危險了。」於是他們雙方就派了些服勞役的人把孔子圍困在野外。

孔子和他的弟子無法行動，糧食也斷絕了。跟從的弟子餓病了，孔子卻還在不停的給大家講學，誦詩、歌唱和彈琴。子路很生氣, 問：「君子也有困窘的時候嗎？」孔子說：「君子在困窘面前能堅持節操不動搖，而小人遇到困窘就會不加節制，什麼過火的事情都做得出來。」

孔子知道弟子們心中不高興, 便叫來子路問道：「《詩經》上說『不是犀牛也不是老虎，然而它卻排徊在曠野上』，難道是我們學說有什麼不對嗎？我們為什麼會落到這種地步呢？」子路說：「大概是我們的德還不夠吧？所以人家不信任我們；想必是我們的智謀還不夠吧？所以人家不放我們通行。」孔子說：「有這樣的話嗎？仲由啊，假使有仁德的人必定能使人信任，哪裡還會有伯夷、叔齊餓死在首陽山呢？假使有智謀的人就能暢行無阻，哪裡會有王子比干被剖心呢？」

子路退出，子貢進來見孔子。孔子用同樣的話問子貢. 子貢說：「老師的學說博大到極點了，所以天下沒有一個國家能容納老師。老師何不稍微降低一些您的要求呢？」孔子說：「好的農夫雖然善於耕種，但他卻不一定有好的收穫；好的工匠雖然精巧的手藝，但他的所作卻未必能使人們都稱心如意。有修養的人能研修自己的學說，但不一定被世人所接受。現在你不去研修自己的學說，反而想降格來迎合。你的志向太不遠大了。」

子貢出去之後，顏回進來見孔子。孔子又同樣問他. 顏回說：「老師的學說博大到極點了，所以天下沒有一個國家能容納老師。雖然是這樣，老師還是要推行自己的學說，不被天下接受又有什麼關係呢？一個人不研修自己的學說，那才是自己的恥辱。至於已下大力研修的學說不被人所用，那是當權者的恥辱了。不被天下接納又有什麼關係呢？不被接受，這樣才能顯出君子的本色！」

孔子聽了十分欣慰, 笑道：「是這樣的啊！ 假使你有很多錢財，我願意給你做管家。」

於是孔子派子貢到楚國去, 楚昭王調動軍隊來迎接孔子，才消除了這場災禍。

楚國得到孔子後，楚昭王想把有戶籍登記的七百里地方封給孔子。楚國的令尹子西勸阻他, 擔心如果讓孔子擁有那七百城土地，再加上那些有才能的弟子輔佐, 他會在楚國稱王，於是楚昭王打消了原來的想法。這年秋天，楚昭王死在城父。孔子也從楚國返回了衛國。這一年，孔子六十三歲。

第二年（前484），冉有為季氏統率軍隊，在郎地同齊國作戰，打敗了齊國的軍隊。冉求告訴季康子自己的才能都是從孔子那裡學來的。
季康子問：「孔子是怎樣的一個人呢？」冉有回答說：「任用他要符合名分，他的學說不論是傳播到百姓中，還是對質於鬼神 前，都是沒有遺憾的。我對於軍事，雖然有功而累計封到二千五百戶人家，而孔子卻會毫不動心的。」康子說：「我想召請他回來，可以嗎？」冉有說：「你想召請他回來，只要不讓小人從中阻礙他，就可以了。」於是季康子派人帶著禮物迎接迎孔子，孔子就回魯國去了。孔子離開魯國一共十四年, 又回到了魯國。但是魯國最終還是不能重用孔子，孔子也不再要求出來做官了。

孔子的時代，周王衰微，禮崩樂壞，《詩》、《書》也殘缺不全了。孔子探究夏、商、西週三代的禮儀制度，編定了《書傳》 (《尚書》之傳。) 的篇次，上起唐堯、虞舜之時，下至秦穆公，依照事情的先後，加以整理編排。

孔子考察了殷代繼承夏代對禮儀制度所作的增減之後說：「將來即使經過一百年，那增減的也是可以預知的，因為一種是重視文采，另一種是重視樸實。周代 的禮儀制度是在參照了夏代和殷代的基礎上制定的，多麼豐富多采呀，我主張用周代的禮儀.」 所以《書傳》、《禮記》都是孔子編定的。