1903年，高語罕17歲時，他父親的好友李蓧園擔任鳳陽官立經世學堂漢文總教習，寫信招他去投考。未進學堂之前，語罕暫住李蓧園家裏。李蓧園天天教他讀《資治通鑒》，講宋明學者的語錄，又讓他每天寫日記給他批改。甚至吃飯的時候，李蓧園還給他講解作文的法子，講好了才吃飯。
進學堂後，語罕的考試名次總是倒數第一。受這個刺激，語罕每天和衣而臥，在床前放了一張小桌子，一盞油燈，醒了就把選好的文章拿過來讀。不到一年，他就把“之乎者也”弄通了。在每次的榜示上，語罕的名字也從坐“紅椅子”（倒數第一名）跑到了前三名。
學堂曆史教習武竹平的種族革命思想對語罕的影響也非常深。武竹平的曆史講義都是自己編的，參考了許多富於排滿的種族革命的曆史典籍，如當時的《國粹學報》、明末各種野史以及康梁的文字。他的每一次講授，語罕都細心地聽，沒有一次缺課。
除了功課，學堂準許學生讀書閱報。當時，康有為和梁啟超正在宣傳歐美日本的君主立憲救國論。語罕受他們的影響尤其是梁啟超的影響至深，覺得梁啟超的《新民叢報》、《中國魂》就是自己的聖經。
1904年冬天，鳳陽經世學堂易名鳳陽府中學堂。高語罕和原來的老師程二夫子一起參加清末最後一次科舉考試。第一場考試一共取72名，語罕是第71名，程二夫子落榜。第二場考試，語罕高升到第17名。
第三場終考隻考一個題目：“其於木也為堅多節。”牌示上注明：“做一百字者為完卷。”語罕也不知道題目的出處，隻就字麵敷衍成文，集了一百多字交卷，最後一場也被取了。
此後不久，科舉考試廢除，語罕仍在學堂讀書，並因英語出色而被聘為英語教員。因為學生都是各縣來的秀才或老童，年紀大的有30多歲，小的也有20多歲，都比語罕年齡大，所以不肯從他手裏討教，遂鬧起風波。
1905年初，語罕被迫離開鳳陽，轉而投考嚴複任監督的安慶高等學堂。誰知到了省城安慶，才知道嚴複因為受排擠，剛剛離開學堂，他不得已去請教以前鳳陽知府兼鳳陽中學堂總辦葉老師。葉老師為人謙和，官僚氣少，此時已調任省督練公所提調兼陸軍測繪學堂總辦，他力薦語罕進了陸軍測繪學堂。
1907年夏天，語罕將要畢業的時候，左臀生了一個腫毒，到聖公會（醫院）開刀。恰巧李蓧園來省城，聽說他病在醫院，特地跑去掏出一塊大洋，解決了他的飯食醫藥費用。
那時候，每天晚上總有一個神甫到病房來宣講福音，勸他信教。當時語罕已受了一點科學思想的影響，就老實地告訴他：“我不信教，除非你有一天能說得使我相信上帝。”
宣教的神甫並不灰心，第二天、第三天仍然過來。有天晚上，那位牧師穿著黑長袍子左膀子夾著《聖經》又來了。
沒等他開口，語罕劈頭就問：“什麽叫做《創世紀》？”
“《創世紀》就是記載上帝創造世界的聖靈的經書。”
“據你說世界是上帝造的，那麽上帝又是誰造的呢？”
神甫馬上對著胸口畫了個十字：“異教徒！異教徒！上帝是唯一的神，如何可以這樣地褻瀆。”
“你若對這個問題沒有滿意的答複，那我就一定不會做你的信徒！”
語罕當時寫了三首詩記述自己的感想：
“病體支離百吟呻，為誰說教去來頻。男兒自有靈魂在，上帝何須強作人？”
“滿目瘡痍百感並，倉皇戎馬一書生。他年若得沙場死，不作神仙氣也平。”
“漫向人間說窈冥，耶和華事有誰聽？蒼茫獨立風塵裏，我有良知是聖經。”
這些詩表現出語罕反抗宗教精神的萌芽。“我有良知是聖經”，這句話也貫穿了語罕的一生。