林語堂自己說婚前曾有兩位戀人, 妻子廖翠鳳是第三位, 廖翠鳳是鼓浪嶼的首富廖家的二小姐，二人訂終身時，廖翠鳳的母親有異議，說：「和樂(林語堂的本名)是牧師的兒子，家裡很窮。」廖翠鳳卻堅決果斷地說：「貧窮算不了什麼。」就是這句話一錘定音，成就了林語堂與她的婚姻。
1919年1月9日林語堂與廖翠鳳結婚。結婚後，他徵得廖翠鳳的同意，將結婚證書燒掉了，他說「結婚證書只有離婚才用得上」。燒掉結婚證書，表示了他們永遠相愛、白頭偕老的決心。
婚後不久，林語堂和廖翠鳳到美國哈佛大學留學，攻讀碩士學位。在哈佛讀了一年，助學金卻被停了，林語堂只好前往法國打工，後來到了德國。先在耶拿大學攻讀，期間通過轉學分的方式獲得了哈佛大學的碩士學位，後又到萊比錫大學攻讀比較語言學，1923年獲得博士學位。
經濟困難時，廖翠鳳只得變賣首飾以維持生活。終其一生，林語堂在操守上也是絕對純潔的。美色當前，欣賞一番，幽他一默，亦不諱其所好，惟不及亂耳。
如果廖翠鳳在生氣，林語堂連話也不說一句，保持沉默。倘若真的吵架了，也是吵過就算了，他的絕招是「少說一句，比多說一句好；有一個人不說，那就更好了。」他認為夫妻吵嘴，無非是意見不同，在氣頭上多說一句都是廢話，徒然增添摩擦，毫無益處。他說：「怎樣做個好丈夫？就是太太在喜歡的時候，你跟著她喜歡，可是太太生氣的時候，你不要跟她生氣。」廖女士最忌諱別人說她胖，最喜歡人家讚美她又尖又挺直的鼻子；所以林語堂每逢太太不開心的時候，就去捏她的鼻子，太太自然就會笑起來了。
林語堂曾經說過：「只有苦中作樂的回憶，才是最甜蜜的回憶。」他們即使窮得沒有錢去看一場電影，也可以去圖書館借回一叠書，倆人守住一盞燈相對夜讀，其樂不改。所以大師亦說，窮並不等於「苦」，他從來沒有「苦」的感覺；世俗所謂的「貧窮夫妻百事哀」的邏輯，完全被他推翻了。
1969年1月9日，在臺北陽明山麓林家花園的客廳裡，一對喜燭點燃，林語堂夫婦悄悄慶祝結婚五十周年。林語堂把一枚金質胸針獻給廖翠鳳，上面鑄了「金玉緣」三字，並刻了不朽名詩《老情人》。
林語堂將其譯成中文五言詩：
同心相牽掛 一縷情依依
歲月如梭逝 銀絲鬢已稀
幽冥倘異路 仙府應淒淒
若欲開口笑 除非相見時
林語堂認為廖翠鳳屬於接納萬物、造福人類的「水」，而自己卻是鑿穿萬物的「金」。林語堂認為婚姻並不是以善變的愛情為基礎的，而是愛情在婚姻中滋長，男女互補所造成的幸福，是可以與日俱增的。
有人問他們半個世紀「金玉緣」的秘訣。老夫婦搶著說，只有兩個字，「給」與「受」。在過去的一萬八千多天裡，他們相互之間，儘量多地給予對方，而不計較接受對方的多少。林語堂說：「婚姻猶如一艘雕刻的船，看你怎樣去欣賞它，又怎樣去駕馭它。」
1976年3月26日，林語堂逝世于香港，靈柩運回臺北，埋葬于陽明山麓林家庭院後園，廖翠鳳也搬回來住, 仍與他終日廝守, 她去逝後也葬在同處.