1912年1月4日，蔡元培回國不久，中華民國臨時政府在南京成立，他出任南京臨時政府教育總長。
教育部在他的主持下，公開征求國歌，其中由沈恩孚作詞的《五旗共和歌》，後來被頒布為中華民國的臨時國歌。
同年1月19日，他頒布了《普通教育暫行辦法》，主持製定了《大學令》和《中學令》，這是我國第一個大學和中學的校令。
其中《大學令》，以教授治校、民主管理為大學校務管理原則，規定各科設立教授會，大學設立評議會，不過當時未能施行。
他主持修訂了教育部的學製，強調要把中學和大學建造成健全國民的學校，主張廢止祀孔讀經，采用西方教育製度，實行男女同校等改革措施，第一次在政府法令條文中宣布教育上的男女平等。不久，全國初級小學實行了男女同校。
由於守舊勢力異常強大，高等學校到“五四”運動前夕，仍未實現男女同校。教育部對此畏首畏尾，各大學都不敢提議招收女生。他非常不滿此等現狀，不僅在北京青年會進行演講，也對上海《中華新報》記者發表談話，公開倡導高校男女同校。他說：“一提議，必不通過。其實學製上並沒有專招收男生的明文；如招考時有女生來報名，可即著錄；如考試及格，可準其就學；請從北大始。”
他當時就明確指出：“教育者，養成人格之事業也。”提出了“學為基本，術為枝葉”、“學為學理，術為應用”的觀點。
他在跟吳稚暉的通信中談到：“大約大學之所以不滿人意者，一在學課之淩雜，二在風紀之敗壞。救第一弊，在延聘純粹之學問家，一麵教授，一麵與學生共同研究，以改造大學為純粹研究學問之機關。救第二弊，在延聘學生之模範人物，以整飭學風。”
他坦陳：教育是要個性與群性平均發達的。政黨是要製造一種特別的群性，抹殺個性。例如，鼓勵人民親善某國，仇視某國；或用甲民族的文化，去同化乙民族。今日的政黨，往往有此等政策，若參與教育，便是大害。教育是求遠效的，政黨的政策是求近功的……若把教育權也交與政黨，兩黨更迭的時候，教育方針也要跟著改變，教育就沒有成效了。所以，教育事業不可不超然於各派政黨之外。
他明確提出了廢止忠君、尊孔、尚公、尚武、尚實的封建教育宗旨，倡導以道德教育為中心，以軍國民教育、實利主義教育為急務，以世界觀教育為終極目的，以美育為橋梁的民主主義的教育方針。
1913年，孫中山的二次革命失敗，46歲的他，攜眷赴法，與李石曾等創辦留法勤工儉學會。1915年6月，他在法國同吳玉章、李石曾等人，發起組織了華法教育會，倡導勤工儉學，希望以此組織，幫助更多華人到歐洲求學。後來，周恩來、鄧小平等都是通過這個組織，才順利到達法國學習的。在留法的三年時間裏，他從事學術研究，編撰了不少哲學和美學著作。
1916年夏，黎元洪的北京政府，終於明令恢複了民國初年的《臨時約法》，孫中山、黃興等一大批流亡海外的革命黨人，紛紛回國。一些浙江籍議員，還發電給遠在法國的蔡元培，說是要推選他當浙江省督軍。11月8日，他和吳玉章一起，乘船出馬賽，劈波斬浪，抵達上海。
他一踏上祖國的土地，就給自己約法三章：不做官，不納妾，不打麻將。