1925年12月,高語罕在上海大學任教一段時間後即趕到廣州,參與國民黨“二大”的會務準備工作,同汪精衛、邵力子一起起草國民黨“二大”宣言。在大會上,高語罕同張靜江、鄧澤如、古應芬、陳璧君一起當選為國民黨中央監察委員會常委。
1926年1月8日,鄧演達被任命為黃埔軍校(即中央軍事政治學校)教育長。1月19日,參加完國民黨“二大”後的高語罕也來到黃埔軍校任政治主任教官,成為黃埔軍校第一位政治教官,同時兼入伍生部少將黨代表。
高語罕為人十分和藹,遇到接近他的人,往往都是他先打招呼。很多青年學生過去讀過他的《白話書信》,再加上他口若懸河,講得通俗、風趣,因而受到大家的普遍敬重。
在講授政治學概論時,高語罕仍提倡白話文。有一次他在課堂上說:“同學們都是風華正茂的青年,也有百分之七八十都是沒有對象的未婚者,以我在學生時代的經驗,用文言文寫愛情信,不如用白話文寫愛情信,這是最能表達內心情感的,諸位努力寫吧!”
同時作為中央監察委員,高語罕直爽、盡職。有一次開會,蔣介石吩咐桌子上要擺些精致的點心。高語罕走近細看,原來盛點心的盤子都是用草編的,上麵有紅花、綠花,中間五彩的花朵不是染的,卻是用有顏色的草編的,手藝精巧。高語罕臉色一板,放開喉嚨衝著蔣介石說,開會又不是請客,何必如此浪費。蔣介石本想借此籠絡在軍校工作的共產黨員,可是高語罕竟當麵批評他奢侈浪費,不像革命黨人的作風,氣得兩頰紅一塊紫一塊,一甩門走開了。
3月19日,國民黨召開第13次中央常委會,批準毛澤東任第六屆農民運動講習所所長,蕭楚女為教務主任,高語罕為政治訓練主任。3月20日,蔣介石借口“中山艦事件”罷免了高語罕的政治主任教官職務,由惲代英接任。
稍後,廣州召開反段祺瑞大會,高語罕受國民黨中央秘書長林伯渠指派,在大會上發言:“現在袁世凱雖死,而產生袁世凱的社會製度並未消除,將來會有第二個、第三個袁世凱繼之而起,以至於生生不已。今天大家開會,反對段祺瑞,我依然要做這種分析。所以我們不但要打倒北洋軍閥段祺瑞,並且要打倒產生北洋軍閥的社會製度。”
次日,高語罕的話刊登出來:“我們不但要打倒北洋軍閥段祺瑞,並且要打倒南方的段祺瑞!”蔣介石見了報,遂下令驅逐高語罕出廣州。
高語罕離開黃埔軍校時,恰響起了夜深休息的軍號,勾起了他的舊愁新感,感觸萬端,寫了兩首絕句。其一是:“離騷讀罷聽悲笳,入夜江聲走萬蛇。曾住此間三月暮,而今一水是天涯。”
5月25日,蔣介石散發《校長宴會全體代表訓話對中山艦案有關係的經過之事實》的小冊子,指斥高語罕、惲代英、鄧演達、張治中為“黃埔四凶”。
同日,高語罕在上海發表《一封公開信——致蔣介石先生》:“老子娘生下我來,就是這副骨頭!性子戇直,心直口快,但是我卻有一個好處:曉得一個人,尤其是一個革命黨人,若是自己不能受人批評,不能公開的承認自己的過失,甚至還去文過飾非,那便是自絕他的政治生命。”
7月9日,廣東國民政府誓師北伐。10月,擔任攻武昌城的葉挺獨立團一營營長、高語罕工讀學校的學生曹淵犧牲,高語罕的另一個學生孫一中接任營長,攻下武昌城。
此時,鄧演達任北伐總司令武漢行營主任,張治中任中央軍事政治學校武漢分校教育長,二人邀請高語罕到武漢。高語罕遂到武漢創辦了安徽省黨務幹部訓練班,介紹阿英(錢杏邨)、王坦甫、朱蘊山等加入了中國共產黨,同時兼任中央軍事政治學校武漢分校政治教官,出版了《白話書信二集》和《現代的公民》(《公民常識》)。