1925年12月，高語罕在上海大學任教一段時間後即趕到廣州，參與國民黨“二大”的會務準備工作，同汪精衛、邵力子一起起草國民黨“二大”宣言。在大會上，高語罕同張靜江、鄧澤如、古應芬、陳璧君一起當選為國民黨中央監察委員會常委。
1926年1月8日，鄧演達被任命為黃埔軍校（即中央軍事政治學校）教育長。1月19日，參加完國民黨“二大”後的高語罕也來到黃埔軍校任政治主任教官，成為黃埔軍校第一位政治教官，同時兼入伍生部少將黨代表。
高語罕為人十分和藹，遇到接近他的人，往往都是他先打招呼。很多青年學生過去讀過他的《白話書信》，再加上他口若懸河，講得通俗、風趣，因而受到大家的普遍敬重。
在講授政治學概論時，高語罕仍提倡白話文。有一次他在課堂上說：“同學們都是風華正茂的青年，也有百分之七八十都是沒有對象的未婚者，以我在學生時代的經驗，用文言文寫愛情信，不如用白話文寫愛情信，這是最能表達內心情感的，諸位努力寫吧！”
同時作為中央監察委員，高語罕直爽、盡職。有一次開會，蔣介石吩咐桌子上要擺些精致的點心。高語罕走近細看，原來盛點心的盤子都是用草編的，上麵有紅花、綠花，中間五彩的花朵不是染的，卻是用有顏色的草編的，手藝精巧。高語罕臉色一板，放開喉嚨衝著蔣介石說，開會又不是請客，何必如此浪費。蔣介石本想借此籠絡在軍校工作的共產黨員，可是高語罕竟當麵批評他奢侈浪費，不像革命黨人的作風，氣得兩頰紅一塊紫一塊，一甩門走開了。
3月19日，國民黨召開第13次中央常委會，批準毛澤東任第六屆農民運動講習所所長，蕭楚女為教務主任，高語罕為政治訓練主任。3月20日，蔣介石借口“中山艦事件”罷免了高語罕的政治主任教官職務，由惲代英接任。
稍後，廣州召開反段祺瑞大會，高語罕受國民黨中央秘書長林伯渠指派，在大會上發言：“現在袁世凱雖死，而產生袁世凱的社會製度並未消除，將來會有第二個、第三個袁世凱繼之而起，以至於生生不已。今天大家開會，反對段祺瑞，我依然要做這種分析。所以我們不但要打倒北洋軍閥段祺瑞，並且要打倒產生北洋軍閥的社會製度。”
次日，高語罕的話刊登出來：“我們不但要打倒北洋軍閥段祺瑞，並且要打倒南方的段祺瑞！”蔣介石見了報，遂下令驅逐高語罕出廣州。
高語罕離開黃埔軍校時，恰響起了夜深休息的軍號，勾起了他的舊愁新感，感觸萬端，寫了兩首絕句。其一是：“離騷讀罷聽悲笳，入夜江聲走萬蛇。曾住此間三月暮，而今一水是天涯。”
5月25日，蔣介石散發《校長宴會全體代表訓話對中山艦案有關係的經過之事實》的小冊子，指斥高語罕、惲代英、鄧演達、張治中為“黃埔四凶”。
同日，高語罕在上海發表《一封公開信——致蔣介石先生》：“老子娘生下我來，就是這副骨頭！性子戇直，心直口快，但是我卻有一個好處：曉得一個人，尤其是一個革命黨人，若是自己不能受人批評，不能公開的承認自己的過失，甚至還去文過飾非，那便是自絕他的政治生命。”
7月9日，廣東國民政府誓師北伐。10月，擔任攻武昌城的葉挺獨立團一營營長、高語罕工讀學校的學生曹淵犧牲，高語罕的另一個學生孫一中接任營長，攻下武昌城。
此時，鄧演達任北伐總司令武漢行營主任，張治中任中央軍事政治學校武漢分校教育長，二人邀請高語罕到武漢。高語罕遂到武漢創辦了安徽省黨務幹部訓練班，介紹阿英（錢杏邨）、王坦甫、朱蘊山等加入了中國共產黨，同時兼任中央軍事政治學校武漢分校政治教官，出版了《白話書信二集》和《現代的公民》（《公民常識》）。