在所有關於金嶽霖的軼事中，最引人注目的一件事是他終生未娶。人們對此的解釋相當一致：他一直戀著建築學家、詩人林徽因。他們的故事最奇特和精彩的地方，就是金嶽霖的“逐林而居”。
1931年，金嶽霖在徐誌摩的引薦下，敲開了北總布胡同那扇門，見到了京城“四大美女”之一、徐誌摩曾為之如癡如醉的人物—林徽因。因為感到十分投緣，金嶽霖就搬到了梁林一家的後罩房，亦即北總布胡同12號，開始了他二十餘年“逐林而居”的生活。
老金是1932年搬到北總布胡同與梁家同住在一處的。後院很小，沒有什麽樹。金嶽霖種了一棵姚黃。仲春時節，姚黃開得燦爛如火。老金把最大的一間南房當作客廳，客廳靠北牆擺放著八個大書架，書架上以英文書居多。客廳南麵圍著一圈沙發，牆上掛著鄧叔存作的水墨山水。老金有一個洋車夫，一個會做西餐的廚師。在他這裏，朋友們喝咖啡，吃冰淇淋。因為老金是湖南人，朋友們笑稱這裏為“湖南飯店”。
按老金的說法：“他們住前院，大院；我住後院，小院。前後院都單門獨戶。30年代，一些朋友每個星期六有集會，這些集會都是在我的小院裏進行的。因為我是單身漢，我那時吃洋菜。除了請了一個拉東洋車的外，還請了一個西式廚師。‘星期六碰頭會’吃的咖啡冰激淩和喝的咖啡都是我的廚師按我要求的濃度做出來的。除早飯在我自己家吃外，我的中飯、晚飯大都搬到前院和梁家一起吃。這樣的生活一直維持到‘七七事變’為止。抗戰以後，一有機會，我就住在他們家。”這段話是老金晚年的回憶，並自稱“一離開梁家，就像丟了魂似的”。
梁林一家與老金之間，文化背景相同，誌趣相投，交情也就自然地非尋常人可比。這個“太太的客廳”裏，哲學家金嶽霖先生是每天風雨無阻，總是在3點半到梁家，是梁家沙龍中的座上常客。他就住在隔壁一間小屋子裏。梁氏夫婦的客廳有一扇小門，穿過“老金”的小院子就到了他的屋子。他常常穿過這扇門，參加梁氏夫婦的客廳聚會。一到就開始為林徽因誦讀各種讀物，絕大部分是英文書籍，內容有哲學、美學、城市規劃、建築理論及英文版的恩格斯著作等。他們常常在誦讀的過程中一起熱烈討論。就是在這種交往中，金嶽霖對林徽因的人品才華讚羨至極，十分嗬護。而林徽因對老金也十分欽佩敬愛，他們之間的心靈溝通達到了隻可意會、不可言傳的境界。
林徽因為何具有吸引力？老金在寫給費正清夫婦的信中說：
年輕人來這裏傾聽一位女子的妙語連珠，
人所共知她的爽直前衛，擁有天賦天分和聰明，
她**無限、創造力無限，
她的詩意，她敏銳的感受力和鑒賞力，
總之，人所渴求的她應有盡有，
除卻學究氣。
學究氣的反麵是豐富多彩，
一個人的學究氣越重就越喪失色彩。
我寧願自己更富於色彩，
看看徽因是多麽豐富多彩，
而可憐的我！
如此蒼白，徹頭徹尾的蒼白！
暮年金嶽霖談到林徽因，是這樣一種不滅的印象：“林徽因這個人了不起啊，她寫了篇叫《窗子以外》的文章，還有《在九十九度中》，那完全是反映勞動人民境況的，她的感覺比我們快多了。她有多方麵的才能，在建築設計上也很有才幹，參加過國徽和人民英雄紀念碑設計，不要抹殺了她其他方麵的創作啊……”
林徽因就是這樣一個無論到哪裏都閃爍著光芒的女人，當然這光芒遠遠不限於她的美麗、多彩、博學，更多的是她能穿透你內心對這個世界的認識：
我認為最愉快的事情都是一閃亮的，
在一段較短的時間迸出神奇的如同兩個人透徹的了解，
一句話打到你心裏，
使得你的理智和情感，
全覺到一萬萬分滿足；
如同相愛，
在一個時候裏，
你同你自身以外另一個人，
互相以彼此存在為極端的幸福；
如同戀愛，
在那時那刻，眼所見，耳所聽，心所觸，
無所不是美麗，
情感如詩歌自由的流動，
如花香那樣不知其所以。
胡適曾這樣說過：“誌摩的人生觀是一種單純信仰，這裏麵有三個大字：一個是愛，一個是自由，一個是美。”林徽因恰恰把這三者水乳般地交融成完整的一體。也許正是如此，她欣賞老金的幽默、真誠、博學；老金愛慕她的睿智、靈慧、美麗。以致最後心心相印、難舍難離。
經過林徽因“同時愛上兩人”，梁思成交由夫人抉擇，金嶽霖感動退出的事件後，三人之間毫無芥蒂，終生為友。梁思成、林徽因吵架，總是找理性冷靜的金嶽霖仲裁。甚至林徽因和母親有了矛盾，也要找老金來理一理。因為金嶽霖總是那麽冷靜理性，能夠把他們因為情緒激動而搞糊塗了的問題分析得清清楚楚。
大約1936年的一天早晨，金嶽霖正在書房裏做研究。忽然，他聽見天空中有一聲男低音叫道：“老金。”他趕快跑出院子去看，梁思成和林徽因正站在正房屋頂上，看著他哈哈大笑。金嶽霖生怕他們掉下來，就喊道：“你們給我趕快下來。”他們又大笑了一陣下來了。金嶽霖常常看到梁思成為了古建築上某個數據而在房頂上上下下搞測量，就為梁林夫婦編了一副對聯：“梁上君子，林下美人。”
“梁上君子”是反話正用，這裏自然是指常常攀樓登塔搞調查測繪的梁思成了。這“林下美人”原本指的是東晉才女謝道韞，有詠絮之才，其人曾被品評有恬淡蕭散的“林下風致”。明代高啟有讚美梅花的詩句：“雪滿山中高士臥，月明林下美人來。”可見金嶽霖有心讚美林徽因是才女，像梅花一樣美麗高潔。這“林下美人”，還讓人想起《紅樓夢》裏那位“玉帶林中掛”的林黛玉。不幸的是，後來林徽因和林黛玉得的竟是一樣的“女兒癆”。
當時，梁思成聽了這兩句對聯很高興，評說道：“很好嗬，不然我怎麽才能打開一條新的研究道路，豈不是紙上談兵了嗎？”可林徽因並不領情：“真討厭，什麽美人不美人，好像一個女人沒有什麽可做似的。我還有好些事要做呢！”金嶽霖聽了大為欽服，連連鼓掌。
此後，金嶽霖就過起了遊牧民族的生活。遊牧民族是逐水草而居，而金教授一直是逐“林”而居，長期跟著梁林一家做鄰居。在北平總布胡同3號，他住在梁林一家旁邊。兩家有小門相通。那邊的林徽因有“太太客廳”，這邊的老金有“湖南飯店”。
1937年，“盧溝橋事變”後，北平、天津淪陷，梁思成、林徽因夫婦和當時的許多知識分子一樣被迫離開古都北平，遷往雲南昆明、蒙自兩地。所有內遷學校集體聯合辦學，改稱“國立西南聯合大學”，簡稱“西南聯大”。梁林夫婦在昆明北郊龍泉鎮棕皮營設計建造了一所住房。金嶽霖靠著梁家主屋一麵牆，搭建了一間耳房。雲南人叫“偏廈”，比正屋低矮一些，麵積不足十平方米。最讓人驚詫的不是這間屋子的矮小，而是它沒有獨立外開的門。也就是說，金嶽霖每次出入必須穿過梁家的主客廳。
金嶽霖與梁思成、林徽因夫婦以及他們的孩子生活在同一個屋簷下，已儼然是這個家庭中的一員。林徽因曾經在致好友費慰梅的信中說：“這個春天，老金在我們房子的一邊添蓋了一間耳房，這樣，整個北總布胡同集體就原封不動地搬到了這裏。”
後來，梁思成、林徽因夫婦遷往四川南溪縣李莊。金嶽霖還留在昆明西南聯大教書。借休假的機會，他由雲南一路跋山涉水，來到李莊看望梁林夫婦。沒想到才短短幾個月，林徽因患肺病經常不得不臥病在床，已經形銷骨立，麵容蒼白，不複當年那個風華絕代的女子。
為了讓林徽因盡早恢複健康，金嶽霖到市場上買來十幾隻剛剛孵出的小雞，在門前一塊小小的空地上喂養起來。盼望著它們生下蛋來，好給林徽因補養身體。老金是文化圈內知名的養雞能手。早在北總布胡同時代，他就養著幾隻大鬥雞，並有同桌就餐的經曆。當然也有請楊醫生“助產”的笑話。到了昆明後，當時在西南聯大讀書的汪曾祺也回憶：“金先生是個單身漢，無兒無女，但是過得自得其樂。他養了一隻很大的鬥雞，這隻鬥雞能把脖子伸上來，和金先生一個桌子吃飯。”林徽因的兒子梁從誡也有很深的印象：在昆明的時候，“金爸在的時候老是坐在屋裏寫呀寫的。不寫的時候就在院子裏用玉米喂他養的一大群雞。有一次說是雞鬧病了，他就把大蒜整瓣地塞進雞口裏。它們吞的時候總是伸長了脖子，眼睛瞪得老大，我覺得很可憐”。
果然，金嶽霖在李莊集鎮上買來的十幾隻雞長勢很好，不但沒生病，後來還開始下蛋了。這讓難得吃到雞蛋的人們十分開心。
那時，梁思成和林徽因正在寫作《中國建築史》。老金也借營造學社的一張白木桌子，開始重新寫他那部皇皇巨著《知識論》。每天下午3點半，他們便放下手中的工作，弄一個茶壺喝起下午茶來。病中的林徽因也把行軍床搬到院內，與大家一道喝茶聊天。老金便雷打不動地出現在林徽因的病榻前，或者端上一杯熱茶，或者送去一塊蛋糕，或者念上一段文字，然後帶兩個孩子去玩耍。
金嶽霖終身未娶。他愛著林徽因，也愛著林徽因的家人，他後來幾乎一直和梁家住在一起。晚年，他與林徽因之子共同生活，頤養天年。他在回憶錄中說，梁思成和林徽因是他人生中最好的朋友。其實，在金嶽霖心中，林徽因已經超越了朋友的域限，成為完美女性的象征。而在林徽因心中，金嶽霖也不僅僅是好朋友，而成為家庭編外的一分子，精神上的知己。
梁林金三個人如是平靜地相處相知，倏忽就是數十年，最後直到生死的力量把三人分開。頗有點像小說裏的傳奇故事。金嶽霖終生未娶以待徽因。而林徽因紅顏早逝，梁思成死於“文革”動**，獨留金嶽霖成為一個孤獨的騎士和愛情行旅。
在金嶽霖心裏，林徽因就是八十歲了，還是他眼裏那個白衣翩翩的花季女子，清新超逸，美麗得無與倫比。這一世，她那風華絕代的身影，自紅塵深處涉水而過，輕輕停靠在他的身邊，仿佛癡守著那一窗搖曳的燈火。她的目光永遠沉靜如秋水，深湛如晴空。
“莊生曉夢迷蝴蝶，望帝春心托杜鵑。”那曾經是世界上最獨特的三人行，那世間耳語相傳的永恒風景，已經漸成傳奇，漸成絕響。
這也許就是大師的人格力量。
梁思成、林徽因和金嶽霖，他們每個人的學識、涵養和人格使得這種情感問題處理得很妥當，達到一種令人欽佩的平衡與和諧。林徽因身上有著生性敏感的詩人氣質，讓她容易動情。可是，她本性善良加上清醒的理智，讓她不可能做傷害梁思成的事情，也不可能輕易辜負純潔的感情。梁思成更是坦**君子，相信妻子和朋友，因此表現出難得的氣量和風度。最難能可貴的是金嶽霖。他深深地愛了林徽因一輩子，發乎情止乎禮，終身未娶。他一輩子都站在離林徽因不遠的地方，默默關注她的塵世滄桑，苦苦相隨她的生命悲喜。靜靜地付出，默默地守候。不奢望走近，也不祈求擁有，即便知道根本不會有結果，也仍然執著不悔。理性、克製、溫和，畢生一以貫之。
世間精於理者未必不深於情。在金嶽霖那裏，愛情無疑是一種使人向善、向上的聖潔力量。這不禁讓人想起柏拉圖的那句話：“理性是靈魂中最高貴的因素。”
有人曾說男人和女人之間沒有真正意義上的友情可言。其實，這男女“友情”也許比較曖昧、比較模糊，無法完全準確地拿捏。但是，理性與信任無疑是這種友情得以存在的前提。當事人內心的坦誠、包容，使得他們能夠泰然鎮定、理智從容地對待這種感情。他們都曾經曆過年少的癡狂，青春的懵懂。慢慢明白歲月一去不複返，人生要學會珍惜，懂得感恩。用一顆安恬淡定的心與歲月對飲，讓生命因為懂得而更加的厚重、雋永。
於是，這一輩子就這樣淡淡地走向盡頭。回頭看見的是夕陽，還有身後那個人熟悉的臉龐。她能給予你的，隻能是一個懂你的微笑。然後就是寂滅。
流年似水，浮生若夢。愛是流年裏不老的風景。人生相知相惜的那一刻，時光會駐足，繁花會盛開。