孔子三歲時，他的父親叔梁紇死了。
他的母親年紀輕輕就成了寡婦。但是顏徵在是一個很有主見的女人，她帶上幼小的兒子，從叔梁紇的老家昌平鄉郰邑搬遷到魯國的國都曲阜闕裏。這次遷家，影響了曠世文化偉人孔子的一生。
為什麽要搬遷到曲阜呢，我想有這樣三個方麵的原因：第一，顏徵在是叔梁紇的第三房夫人，她不到二十歲嫁給了年長她四十多歲的叔梁紇，而且是她自己心甘情願嫁的，這其中的主要原因是出於對英雄叔梁紇的敬慕。她年輕貌美，又給叔梁紇生了一個健康聰慧的兒子，母以子貴，叔梁紇對她自然十分寵愛，而叔梁紇一死，她在這個家庭中的地位就發生了根本的變化。甚至出現了一些危險的征兆。所以她必須帶著兒子離開這個家。第二，曲阜是魯國政治和文化中心，是貴族最集中的地方，當然也是六藝最興盛的所在，當時有“周禮盡在魯”（《左傳。昭公二年》）之說。這樣的環境更有利於對兒子的培養。第三，曲阜的闕裏住著幾家顏氏大姓，對孤兒寡母也會有些照應。由於以上三個方麵的原因，所以顏徵在就很有主見地帶上兒子遷居曲阜。
但是母子倆在曲阜的生活卻是非常艱難的。但不管生活多麽苦，顏徵在對培養和教育兒子卻從來沒有放鬆過，兒子是她惟一的希望和精神寄托。《孔子世家考》中有這樣的記載“聖母豫市禮器，以供嬉戲。”連給兒子買的玩具，都是用於祭祀的禮器，用禮器當玩具，是為了讓兒子學習禮儀。須知，一個人要成為貴族，他就必要精通“五經”和“六藝”。什麽叫“五經？”就是指《詩》、《書》、《禮》、《樂》、《易》五部經典。《詩》是文學、《書》是曆史，《禮》是社會規範，《樂》是音樂藝術，《易》是哲學。什麽叫“六藝？”就是“禮、樂、射、禦、書、數。”此處的“禮”，本來是祭祀鬼神的禮儀。後來引申為社會上一切禮儀。禮也是作為貴族首要的人格教育內容之一。“禮者，所以定國家、安社稷、存人民、利後嗣者也”（《左傳。隱公十二年》）。“樂”，也是指音樂而言。但除了理論層麵上的“樂”，更主要的是實際操作的技能部分。“射”，是指射箭的技藝。“禦”，指駕禦馬車的技藝。“書”，此處特指造字及用字的方法。“數”，廣義指自然之理，《荀子。富國》：“萬物同宇而異體，無宜而有用為人，數也。”作為“六藝”之一的數，則是狹義的數，即計算的方法。對“六藝”概念的提出，最早見於《周禮。地官。大司徒》。“五經”“六藝”是晉身貴族的階梯，“經”代表經典知識，“藝”代表專門技能，具備這兩個方麵的知識，才有資格成為“士，”也就是說可以躋身貴族階層了。
而“禮”則是這階梯的第一步，也最難學。“五經”中的《禮》，是理論，包括《周禮》、《儀禮》，都相傳由周公所作。而“六藝”中的“禮”則主要是指冠、婚、喪、祭、射、鄉、朝、聘八大類禮儀的實際操作。已裏邊有很多繁文縟節，很難掌握。所以“禮”是六藝之首。
由此，可以看出顏徵在對兒子的一片苦心。所以孔子小時候經常玩的東西就是俎、豆之類的禮器，這些都是在祭祀時盛放供品用的，用木頭製做，有圓形的，也有方形的。高一尺二寸左右。孔子在遊戲時練習按照規範擺放它們，並演習禮拜的種種程序。“孔子為兒嬉戲，常陳俎、豆，設禮容”（《史記。孔子世家》）。很多人講到孔子生平時總愛引出這句話，用以證明從兒時孔子就對“禮”產生了濃厚的興趣與熱情，殊不知，這卻是一個母親對兒子煞費苦心的“人生設計”。
孔子的少年時代是在艱難中度過的。他自己說：“吾少也賤，故能多鄙事。”（《論語。子罕》）我少年時代因為出身微賤，艱難困苦，所以就掌握了一些在人們看來很鄙陋的技藝。幹過一些粗活兒，比如推車、砍柴、挑擔乃至於後來給人家喂牲口、管倉庫等一些貴族子弟不願幹的事。孔子又說他自己“十有五而有誌於學”，（《論語。為政》）是不是進過闕裏的鄉校已無從考證，然而他的刻苦自學的精神卻是為世代所景仰的。他沒有固定的老師，誰有一技之長誰就是老師，“三人行，必有我師焉”（《論語。述而》），三個人在一起走路，其中就有可以成為我的老師的人。
十七歲時，他的母親去世了。幼年喪父，少年喪母，人生的打擊一連串接踵而來。孔子按照禮儀規範辦理了母親的喪事，並且克服重重困難，將父母完成合葬，這在當時是傳為美談的。這件事是記載在《史記。孔子世家》之中的。孔子的父親叔梁紇去世時，孔子還小，母親按照禮法的規定又不能到墳上去送殯，所以也不知道叔梁紇確切的墓址，在那個時代不時興墓祭（上墳），歲時的祭祀是在家中進行的，所以孔子不知道他父親到底是埋葬在什麽地方。為了謹慎起見，先把母親葬於“五父之衢”，也就是曲阜西南二裏遠的一個叫五父的大道旁，隨後開始艱難地尋訪父親的墓址。孔子的孝行感動了周圍的人，終於有一位郰邑車夫的母親找到孔子，這位老太太說，他兒子當年參加過叔梁紇的葬禮，知道他埋葬的地方。於是她就帶著孔子來到曲阜東邊的防山，將叔梁紇的墓地準確地指認出來，孔子才把母親移葬於此處，完成了與父親的合葬。
命運帶給少年孔子的不僅僅是喪母的哀痛和生活的艱辛，還有人格的屈辱。
母親去世後的服喪期間，孔子遇到了一件事情。
什麽事情呢？這也是記載在《史記。孔子世家》裏的一個事件，孔子讓魯國大貴族季孫氏的家奴陽虎給羞辱了一頓。季孫氏就是季平子，他與他的兩個哥哥孟孫氏、叔孫氏號稱當時魯國三大貴族。不但富甲天下而且掌握著魯國的大權。在三兄弟中，季孫氏的勢力又是最強的。這個陽虎雖然是個家奴，但由於深得主子信任，卻十分威風，他不但掌握著季孫氏一家的操控之權，而且控製著整個魯國的國政。孔子對這個人向無好感，在《論語》這部書中有《陽貨》篇，孔子對他是十分不肖的。
那年季孫氏做了一個大舉動，就是要宴請魯國“士”一級的貴族。孔子的父親叔梁紇當過郰邑大夫，按理說應說算是貴族中最低等級的“士”的。所以還在服孝中的孔子就去季孫氏家赴宴了。當然孔子不是為了吃一頓飯去的，他想到的是在那個宴會上會有很多頭麵人物出現，這是接觸他們的一個機會。沒想到他一到季孫氏家大門口就讓家人陽虎給攔住了。這個陽虎非常蠻橫地訓斥孔子：“季氏饗士，非敢饗子也！”季孫氏家宴請的是“士”，你孔丘算什麽，誰請你了？孔子隻能忍著羞恥默然而退。
這次打擊，也更增強了他奮發自立的決心。