嚴光在歸隱之前已久負盛名，他在學問、人品和道德文章之上都有著過人之處。年少的嚴光曾與漢光武帝劉秀一同遊學，稱帝後的劉秀仰慕嚴光的滿腹才華和一身正氣，進而對他恩寵有加，邀他一同治理天下，被嚴光斷然拒絕。飽讀詩書、學富五車的嚴光深知一切的禍害都是源於權力之爭，如果天下人都甘願去做農夫漁翁，不去爭奪那代表榮華富貴的“赤符”，天下早就得以太平了。他雖然不事光武帝，但是心係百姓，為飽受戰亂的無辜民眾痛心疾首。作為中國古代著名的隱士，嚴光承襲了許由、巢父等隱士的品德，視富貴如浮雲，淡泊名利，堅持終身不仕，歸隱富春山耕讀垂釣。

隱士思想，自古以來都在傳統文化精神中占據著重要的地位。在中國曆史上，隱士實際上是操持和推動中國文化發展的幕後重要角色，無論是小隱隱於山野，還是大隱隱於朝市，他們的動機都是高尚的，著名的思想家孔子也非常推崇伯夷、叔齊和吳太伯的讓位、退隱的做法，讚同其“賢者避世，其次避地”的作為。至於嚴光的不事王侯之舉，也必然有著特定的曆史原因。當時外戚王莽新政，劉秀複漢，為了皇帝的寶座浴血奮戰，瞬間生靈塗炭，百姓無家可歸，“采山中之蕨，捕水中之魚，與山水為伴，涵養精神，遠遠避開了世上的戰亂與紛爭，安閑度日”。

嚴光出生於兩漢相交之際，自小便聰慧過人，多才善辯，而且邏輯縝密多思。年少之時與漢光武帝劉秀一起遊學各地，又同求學於太學府。直到王莽篡政，天下起兵，嚴光又開始攻習醫學，博覽群書。據說他精通歧黃，並且醫術精湛，上通天文下曉地理，但是滿腹經綸的嚴光卻不願做官。後劉秀即位，他便隱姓埋名隱居起來。因為仰慕嚴光的才能，光武帝依嚴光的形貌全國尋找。後在齊國有了消息，光武帝準備了車乘和禮物派人去請，請了3次才請到京師。舊識司徒侯霸差人送信於嚴光：“侯公聽說先生到了，一心想立刻就來拜訪，限於朝廷的有關製度不便，所以不能來。希望能在天黑後，親自來向你表達歉意。”嚴光回口信給侯霸說：“君房先生：官位到了三公，很好。懷著仁心輔助仁義天下都高興，拍馬屁看人臉色這些東西你可全掌握了。”光武帝聞訊，當夜便去館舍看望嚴光。嚴光睡著不起來，光武帝摸著嚴光的腹部說：“唉呀，嚴子陵，就不能相幫著做點事嗎？”過了好些時候，嚴光才睜開眼睛說：“過去唐堯那樣顯著的品德，巢父那樣的人聽說要授給官職尚且去洗耳朵。讀書人本各有誌，何以要到強迫人家做官的地步？”光武帝歎息道：“嚴子陵，我竟然不能使你作出讓步？”後又一次以交往舊事為由請嚴光入宮。嚴光與光武帝同枕數日，授予諫議大夫之職，不肯屈意接受。到建武十七年，再一次征召他，他還是沒有去，就這樣帶著他的才能在富春山終其一生。

從長安出走時的嚴光，途經中原之時卻發現荊棘滿地，百裏不見人煙，心中不禁悲涼，想起了聖人老子的慨歎：“師之所處，棘刺生焉。大軍過後，必有凶年。”嚴光深知當時的蒼涼境地都源自於對王位的欲望與爭奪，在混戰的15年之間，出於無奈他隱姓埋名，逃避戰亂，不忍心看見深陷水深火熱之中的苦難百姓。當劉秀終於用人民的血汗換回江山後，想用嚴光這一代才子來鞏固他的統治，嚴光心中滿懷對黎民的同情、對戰爭的憤恨及無以言表的躁亂心緒，又怎會甘心為之所用呢？

嚴光承襲了許由、巢父等這些古代隱士不愛慕名利、不侍奉權貴的品德，在那些有著高尚的品德並且年代久遠的堯、舜英雄已經快要淡出人們的視線、被人們快要遺忘的時候，嚴光用他的一生把那精彩的一幕又重新上演了一次。他可以坦**地走進皇宮，卻一權不取一名不沾，不帶走一絲富貴，使當時的人們重新又記起了那些令人肅然起敬的先哲。劉秀本想利用嚴光的才學穩固江山，卻反被嚴光勸諫號召天下戒貪戒懦。他反而用光武帝的名望成全了自己的一世清名。一個億萬民眾之上的皇帝也難以駕馭這自由高尚的靈魂。嚴光用這樣的方式回擊著那些不顧及生活在底層人民的統治者，他的內心因那份孤傲而變得狂躁，這是一份連至高無上的皇帝都無法馴服的躁動，他寧願懷著自己那份才能在富春山邊垂釣都不願意趨附於朝野的勢力。

時至今日，類似於嚴光秉性的也大有人在。他們都懷有一種孤傲的心境，麵對紛雜的社會從不妥協，麵對壓製從不退縮。他們有著自己的信念，當麵對自己不能苟同卻又無能為力的種種事情之時，他們不會諂媚附和，會將自己的憤懣暴露無遺，不會向權貴低頭，不會向名利揮手，他們用一個嚴於律己的處世態度，另辟蹊徑為社會盡自己的微薄之力。

雲山蒼蒼，江水泱泱。先生之風，山高水長。

——北宋·範仲淹《嚴先生祠堂記》

後世論光不出為非。不知光者，帝王之師也。受業太學時，光武受其教已不少。故光武出而辦天下之事，光即力講氣節，正風俗而傳教於後世。且光於專製之代，不屈於帝王，高尚不可及哉。

——毛澤東