魏晉以來，門第出身是統治階級評選人才的標準是門第出身。“上品無寒門，下品無士族”，便是是對當時的官吏製度的高度概括極為貼切的描寫。這也就是說，朝中高官沒有一個寒門出身的，高門第出身的也不可能會有一個去當小官的沒有一個高門第出身的。由於劉裕家境出身貧寒，劉裕的父母養不起他，於是就便送與把他送給一家姓劉酌收養。他長大後飽嚐了清貧之苦，砍柴、打魚、賣草鞋之類的活全都幹過，飽嚐了清貧之苦。他當了皇帝後，便深深認識到，最下層之中往往有真正有才、有勇、有謀之士，往往都是處於存在最下層之中。所以他決心打破傳統的選人用人製度的桎梏，堅持唯才是舉，廣選人才。小吏出身有“一日百函”的美稱的劉穆之，小吏出身有“一日百函”的美稱，被劉裕他發現後，任命為主要輔臣，把一切要務都交給讓劉穆之承辦一切要務。大臣劉毅對其很妒忌，曾在劉裕麵前讒詆劉穆之，這劉裕不但不聽，不但沒有使劉裕棄用劉穆之，反而對他更加重用。劉穆之病逝後，劉裕對非常想念他非常想念，經常Ⅱ又．息歎息道：“劉穆之如果劉穆之不死沒有死的話，一定能夠幫助我治理天下，真可謂好人散去，國家遭殃!”又說：“劉穆之一死，人們將輕視我。”義熙元年(405)，譙縱亂蜀，劉裕出兵征討，需要一個能夠擔當要尋求一個人擔任元帥的人選。經過訪查，他看上了他認為西陽太守朱齡石，認為他吏才卓異，比較適合擔任元帥一職是擔當此任的合適人選，有人卻說朱齡石“資名尚輕，難當重任”。然而劉裕不聽這些，堅持任其為帥。出身貧民的徐羨之出身貧民，雖然，也沒有上過學，但他卻有很大的但卻有非凡的誌向和氣度。劉裕發現他智謀內藏，是個難得的人才，於是任命他擔任司空，兼任尚書職務。實踐證明，劉裕很有眼光獨具慧眼，徐羨之居高位之後非常勝任其官職，顯示了自己的充分發揮了他的聰明才智。因此，朝野推服，鹹謂有宰相之望都覺得他能勝任宰相之職。鄭鮮之曾經為此歎息道：“看看徐羨之、傅亮的言論，我再也不自以為自己是個有學問的人了。”與此相反，劉裕的中弟劉道鄰是劉裕的中弟，“愚鄙而貪縱”，其生母蕭太妃向劉裕替為劉道鄰向劉裕說情，讓他出任想讓他擔任揚州刺史的職務一職，劉裕嚴詞加以拒絕。