早在1937年8月，吳玉章就受黨中央委托，負責過陝北公學的籌建；此外，他還擔任了延安大學、魯迅藝術學院的校長。
1949年，新中國成立後，黨中央決定在華北大學的基礎上組建中國人民大學。1950年2月，中央人民政府任命吳玉章為第一任校長。
開學典禮上，他動情地說：“要培養新民主主義的革命和建設的幹部，為完成中國新民主主義而奮鬥。”並為人大製定了“忠誠、團結、樸實、虛心”的八字校訓。
當時人大成立初，辦學條件簡陋，常露天上課。從這時起，吳玉章就始終將教育事業放在自己人生首位。他不顧年老體弱，深入調查，克服了種種困難，用了不到一年的時間，就把人大辦得有聲有色，培養出了一大批優秀的新中國建設幹部。
他一生都以“做點有益於人、有益於國家的事情”來鞭策自己。晚年，他依然潛心治學，為中國高等教育和大眾教育的發展做出了不可磨滅的貢獻。
謝覺哉曾經這樣高度評價他：“況有三千諸弟子，東西南北立功勳”。
他領導了中國人民大學的創建和發展，擔任校長達17年之久，直到1966年12月12日去世。他為中國人民大學確立了正確的辦學指導思想和辦學方針，奠定了優良的傳統和獨特的校風，使這所大學成為新中國高等教育，特別是人文社會科學的一麵旗幟。
人大建校之初，大批蘇聯專家來校任教，他特別強調了聯係中國實際學習蘇聯經驗：“蘇聯教授都是很有學問的，但他們不甚了解中國的情況，我們要把他們講授的內容很好地和中國實際結合起來，否則是不可能做好教學工作的。”
他清晰地認識到，教育不僅要傳授知識，更要培養學生的實踐能力。他說：“學生一經畢業，即服務社會，故在修學期中，宜多予各生以研究之機會。”他要求學生刻苦學習業務，牢固地掌握知識，“希望我們課堂裏沒有一個害怕艱苦的人的座位”，“更不要有一個人虛度時光而成為使自己和學校都不光彩的廢品”。
他提倡普及教育，在他努力下，大量工農群眾進入了大學，接受了高等教育。
1952年，他結識了全國勞動模範郝建秀，並邀請其到人大學習。他還親自關心郝建秀的學習生活，並請有經驗的老師來輔導。
1960年，他以80多歲的高齡，寫下一首“自勵詩”：
春蠶到死絲方盡，人至期頤亦不休。
一息尚存須努力，留作青年好範疇。
他不僅這樣說，更是這樣做。88歲時，他還常登上講台，給學生授課。
他作為革命和教育事業的“功臣”，本可以過著物質充裕的生活，但他卻一生勤勞簡樸。據長孫吳本淵回憶說：“他眼裏就沒有‘錢’這個概念，一生不吸煙、不喝酒、不打牌，甚至連茶也很少飲用，家裏的床都是用磚頭壘起來的。”
他一生波瀾壯闊，自己卻說：“我並無過人的特長，隻是忠誠老實，不自欺欺人，想做一個‘以身作則’來教育人的平常人。”
總結起來，他的教育思想，有這樣幾點啟迪作用——
一、以革命教育為主導。
他深切認識到，革命的教育工作就是要為革命工作和建設工作培養各方麵的幹部人才。
因此，在他主持起草的《延安大學教育方案》中，明確指出該校的辦學目的：“依照新民主主義社會之需要，進行各種教育，使學員獲得並掌握專門業務的知識與技能；進行政治教育，以增進學員革命理論的知識，培養學員具有革命觀點、群眾觀點、勞動觀點，作為人民服務的忠誠勤務員。”
他在人大成立大會的講話中，又一次指出：革命的大學就是要“培養新民主主義的革命與建設的幹部，為完成中國新民主主義革命而奮鬥”。
二、革命教育中政治思想教育十分重要。
他曾經回憶說，在中國革命的幾個階段中，有不少青年最初是熱忱愛國、英勇奮鬥的，但是後來就有些人經不住考驗，有的消極隱退，有的腐化墮落，有的變成了反革命。原因雖是多方麵的，但首要原因，就是這些人沒有真正地樹立起革命的世界觀與人生觀。
因此，他認為學生的政治思想教育十分重要，需要貫徹到教學的各個環節中去，務必使學生學會辯證唯物主義的思想方法與工作方法，牢牢地樹立為人民服務的思想。
三、重視教育的普及。
他認為“大眾是社會組成的基本。大眾的進步與落後並不在於生性的聰明或愚蠢，而在於教育的好與壞。教育好的國家，那就人人都有力量，而教育也有力量；教育壞的國家，那就人人都沒有力量，或力量很小，因此國家也不能富強起來”。
他早在留學蘇聯期間，就與瞿秋白等人一起製定了中國拉丁化新文字方案，在蘇聯的華僑中推廣，取得了較好的效果。
抗日期間，他在陝甘寧邊區和敵後抗日軍民中，大力提倡新文字，借以掃除青壯年中的文盲和提高工農群眾的文化水平。他創辦了《新文字報》，並親自主持新文字教員訓練班和新文字幹部學校。為了提高新文字教學的效果，他認真指導編寫教材，親自擔任教學工作，常常步行或騎著毛驢到十多裏外的學校給學生上課，教學生發音，解答各種疑難問題。
四、開放的教育主張。
他主張以馬列主義為指導，貫徹理論聯係實際的原則；根據時代的不同，從國家需要出發，辦學多樣化，形式多樣化；要掌握馬列主義的立場、觀點和方法來發現問題，提出問題，解決問題；教師一定要有純潔而高尚的品德和較高的業務水平，以自己淵博的常識和高尚的品德傳授並影響學生；堅持“百花齊放，百家爭鳴的方針，鼓勵教師獨立思考，勇於創造，敢於實踐”；尊師愛生，教學相長；從嚴治校，從嚴治教，對學生嚴格要求，教育學生要具有高尚道德品質，樹立全心全意為人民服務的觀點。
回顧他擔任魯迅藝術學院院長、延安大學校長、華北大學校長、中國人民大學校長的教育曆程，他第一個在中國提出“素質”和“素質”教育的概念、目標、原則和方法；他第一個把教育與國家強盛聯係起來，提出了“教育興國”的思想；他第一個在我國教育史上提出管理人才的培養問題；他第一個開創了中國函授教育的先列。