故事從一位天皇的寵愛開始。天皇深愛一位出身不高的更衣，住在桐壺殿，因此被稱為桐壺更衣。她備受其他嬪妃嫉妒與欺凌，生下一位俊美非凡的皇子後不久，便憂病而死。

這位皇子聰慧過人、容貌出眾，人們稱他為「光君」。天皇擔心他沒有強大的外戚支持，捲入宮廷鬥爭，便把他降為臣籍，賜姓「源」，於是他被稱為光源氏。

天皇後來迎娶了一位長得極像桐壺更衣的女子：藤壺。年幼的源氏聽說她像自己的母親，對她產生了深深的依戀，長大後更轉變為一份禁忌的愛戀。這份對藤壺的思慕，影響了源氏一生的情感。

源氏十二歲行成年禮後，娶了左大臣的女兒葵之上。葵之上端莊高傲，兩人感情冷淡，始終無法真正親近。源氏轉而在宮廷內外追求許多女子，展開一段段戀情：

• 夕顏：一位柔弱神祕、住在陋巷中的女子。源氏帶她到一處荒廢的宅邸幽會，她卻在夜裡被怨靈侵擾而猝死，讓源氏驚恐不已
• 六條御息所：一位高貴、才華出眾的前東宮妃，愛源氏愛得極深，也因此生出強烈的嫉妒；她的生靈甚至在不知不覺中離體作祟，害死了源氏身邊的女子
• 空蟬：一位已婚的地方官夫人，雖然被源氏打動，卻始終守住分寸，拒絕了他，只留下一件薄衫，像蟬蛻下的殼
• 末摘花：一位家道中落、性格古板的公主。源氏在黑暗中追求她，天亮後才發現她鼻頭紅紅的、相貌平平。這段情節帶著幽默，但源氏依然念舊地照顧她的生活
• 藤壺：源氏與她私下相會，藤壺懷了他的孩子，卻只能讓這個孩子以天皇之子的身分出生。這個祕密讓兩人終生背負罪惡感

葵之上在生下兒子夕霧後，也遭到六條御息所的生靈侵擾而過世。

源氏在北山遇見一位約十歲的小女孩，她是藤壺的姪女，長得酷似藤壺。源氏把她接回自己的宅邸撫養，教她書法、和歌與禮儀，把她培養成理想中的女性。她長大後成為源氏最重要的伴侶，人稱紫之上。

紫之上聰慧、溫柔、美麗，深得源氏寵愛，是書中最受讀者喜愛的女性。但她沒有正式的高貴名分，也沒有生下孩子，一生都必須默默承受源氏與其他女子的戀情，內心的不安與孤寂始終揮之不去。

源氏的父親退位後，敵對的右大臣一派掌權。源氏與右大臣的女兒朧月夜私通的事情曝光，在政治壓力下，他自願退居海邊的須磨，過著寂寞的流放生活，只能寫信和吟詠和歌，寄託對京城與紫之上的思念。在須磨與明石，他遇見了明石君，兩人生下一個女兒。

幾年後，源氏獲召回京，地位不但恢復，還一路攀升。他和藤壺所生的祕密兒子登基成為冷泉天皇，源氏的權勢達到頂峰。他建造了宏偉的六條院，依照春夏秋冬四季分成四個庭院，讓紫之上、明石君等身邊的女性分住其中。這是源氏一生最輝煌的時期。

這段時期，源氏也收養了夕顏留下的女兒玉鬘，她的美貌引來許多求婚者，源氏自己也對她動了心，最後她嫁給了一位粗獷的武官。六條御息所臨終前，把女兒託付給源氏，這個女兒後來入宮成為冷泉天皇的中宮。源氏的兒子夕霧則和青梅竹馬的雲居雁歷經阻撓，終成眷屬。與明石君所生的女兒，也被紫之上撫養長大，後來入宮成為皇后。

源氏晚年，奉上皇之命娶了年輕的皇女女三宮為正室。這件事深深傷害了紫之上，她從此病倒。女三宮後來與青年柏木私通，生下了兒子薰；源氏看著這個孩子，彷彿看見了自己年輕時犯下的罪，這正是當年他對父親所做的事。柏木在羞愧中病死，女三宮則出家為尼。

不久，紫之上病逝。源氏悲痛欲絕，整整一年沉浸在思念之中，看著四季更迭，處處都是她的影子，終於決定遁入佛門。書中以只有標題、沒有內文的〈雲隱〉一帖，暗示源氏的死去，留給讀者無限的想像。一代風流人物，就這樣悄然退場。

最後十帖被稱為「宇治十帖」，舞台轉移到京都南方的山村宇治，主角是名義上為源氏之子、實為柏木之子的薰，以及源氏的外孫匂宮。兩人既是朋友，也是情敵。

薰天生帶著奇異的體香，個性內向憂鬱，對自己的身世隱約不安，一心嚮往佛道；匂宮則熱情奔放、風流多情，處處想和薰一較高下。他愛上了宇治八之宮的女兒大君，大君卻拒絕成婚，最後病逝。薰又愛上了長相酷似大君的浮舟，匂宮也熱烈地追求浮舟。夾在兩人之間的浮舟痛苦不堪，投身宇治川，被一位僧都救起後出家。薰得知浮舟還活著，派人送信去，浮舟卻不肯相認。故事就在這樣的懸念中戛然而止，沒有圓滿的結局。

江戶時代的學者本居宣長認為，《源氏物語》的精髓在於「物哀」：對萬物變化與人生無常的深切感受，一種淡淡的哀愁之美。書中的花開花落、季節更替、戀人的聚散，都在提醒讀者，一切美好終將逝去。

書中也貫穿著佛教的因果觀念：源氏年輕時和藤壺私通，晚年卻輪到自己的妻子與別人私通，生下不是自己骨肉的孩子；許多角色在人生的最後，選擇出家來尋求解脫。榮華的頂點，往往也是衰敗的開始。

本書以女性的視角，細膩地描寫了平安時代貴族的生活：和歌往來、衣香鬢影、宮廷儀式與季節節令，也寫出了在一夫多妻、身分制度下女性的無奈與哀傷。它以平假名寫成，讓當時被視為女性文字的假名文學，達到了前所未有的高度。千年以來，它不斷被改編成繪卷、能劇、漫畫與電影，影響了日本的文學、藝術與審美。