故事从一位天皇的宠爱开始。天皇深爱一位出身不高的更衣，住在桐壶殿，因此被称为桐壶更衣。她备受其他嫔妃嫉妒与欺凌，生下一位俊美非凡的皇子后不久，便忧病而死。

这位皇子聪慧过人、容貌出众，人们称他为「光君」。天皇担心他没有强大的外戚支持，卷入宫廷斗争，便把他降为臣籍，赐姓「源」，于是他被称为光源氏。

天皇后来迎娶了一位长得极像桐壶更衣的女子：藤壶。年幼的源氏听说她像自己的母亲，对她产生了深深的依恋，长大后更转变为一份禁忌的爱恋。这份对藤壶的思慕，影响了源氏一生的情感。

源氏十二岁行成年礼后，娶了左大臣的女儿葵之上。葵之上端庄高傲，两人感情冷淡，始终无法真正亲近。源氏转而在宫廷内外追求许多女子，展开一段段恋情：

• 夕颜：一位柔弱神秘、住在陋巷中的女子。源氏带她到一处荒废的宅邸幽会，她却在夜里被怨灵侵扰而猝死，让源氏惊恐不已
• 六条御息所：一位高贵、才华出众的前东宫妃，爱源氏爱得极深，也因此生出强烈的嫉妒；她的生灵甚至在不知不觉中离体作祟，害死了源氏身边的女子
• 空蝉：一位已婚的地方官夫人，虽然被源氏打动，却始终守住分寸，拒绝了他，只留下一件薄衫，像蝉蜕下的壳
• 末摘花：一位家道中落、性格古板的公主。源氏在黑暗中追求她，天亮后才发现她鼻头红红的、相貌平平。这段情节带著幽默，但源氏依然念旧地照顾她的生活
• 藤壶：源氏与她私下相会，藤壶怀了他的孩子，却只能让这个孩子以天皇之子的身分出生。这个秘密让两人终生背负罪恶感

葵之上在生下儿子夕雾后，也遭到六条御息所的生灵侵扰而过世。

源氏在北山遇见一位约十岁的小女孩，她是藤壶的姪女，长得酷似藤壶。源氏把她接回自己的宅邸抚养，教她书法、和歌与礼仪，把她培养成理想中的女性。她长大后成为源氏最重要的伴侣，人称紫之上。

紫之上聪慧、温柔、美丽，深得源氏宠爱，是书中最受读者喜爱的女性。但她没有正式的高贵名分，也没有生下孩子，一生都必须默默承受源氏与其他女子的恋情，内心的不安与孤寂始终挥之不去。

源氏的父亲退位后，敌对的右大臣一派掌权。源氏与右大臣的女儿胧月夜私通的事情曝光，在政治压力下，他自愿退居海边的须磨，过著寂寞的流放生活，只能写信和吟咏和歌，寄托对京城与紫之上的思念。在须磨与明石，他遇见了明石君，两人生下一个女儿。

几年后，源氏获召回京，地位不但恢复，还一路攀升。他和藤壶所生的秘密儿子登基成为冷泉天皇，源氏的权势达到顶峰。他建造了宏伟的六条院，依照春夏秋冬四季分成四个庭院，让紫之上、明石君等身边的女性分住其中。这是源氏一生最辉煌的时期。

这段时期，源氏也收养了夕颜留下的女儿玉鬘，她的美貌引来许多求婚者，源氏自己也对她动了心，最后她嫁给了一位粗犷的武官。六条御息所临终前，把女儿托付给源氏，这个女儿后来入宫成为冷泉天皇的中宫。源氏的儿子夕雾则和青梅竹马的云居雁历经阻挠，终成眷属。与明石君所生的女儿，也被紫之上抚养长大，后来入宫成为皇后。

源氏晚年，奉上皇之命娶了年轻的皇女女三宫为正室。这件事深深伤害了紫之上，她从此病倒。女三宫后来与青年柏木私通，生下了儿子薰；源氏看著这个孩子，仿佛看见了自己年轻时犯下的罪，这正是当年他对父亲所做的事。柏木在羞愧中病死，女三宫则出家为尼。

不久，紫之上病逝。源氏悲痛欲绝，整整一年沉浸在思念之中，看著四季更迭，处处都是她的影子，终于决定遁入佛门。书中以只有标题、没有内文的〈云隐〉一帖，暗示源氏的死去，留给读者无限的想像。一代风流人物，就这样悄然退场。

最后十帖被称为「宇治十帖」，舞台转移到京都南方的山村宇治，主角是名义上为源氏之子、实为柏木之子的薰，以及源氏的外孙匂宫。两人既是朋友，也是情敌。

薰天生带著奇异的体香，个性内向忧郁，对自己的身世隐约不安，一心向往佛道；匂宫则热情奔放、风流多情，处处想和薰一较高下。他爱上了宇治八之宫的女儿大君，大君却拒绝成婚，最后病逝。薰又爱上了长相酷似大君的浮舟，匂宫也热烈地追求浮舟。夹在两人之间的浮舟痛苦不堪，投身宇治川，被一位僧都救起后出家。薰得知浮舟还活著，派人送信去，浮舟却不肯相认。故事就在这样的悬念中戛然而止，没有圆满的结局。

江户时代的学者本居宣长认为，《源氏物语》的精髓在于「物哀」：对万物变化与人生无常的深切感受，一种淡淡的哀愁之美。书中的花开花落、季节更替、恋人的聚散，都在提醒读者，一切美好终将逝去。

书中也贯穿著佛教的因果观念：源氏年轻时和藤壶私通，晚年却轮到自己的妻子与别人私通，生下不是自己骨肉的孩子；许多角色在人生的最后，选择出家来寻求解脱。荣华的顶点，往往也是衰败的开始。

本书以女性的视角，细腻地描写了平安时代贵族的生活：和歌往来、衣香鬓影、宫廷仪式与季节节令，也写出了在一夫多妻、身分制度下女性的无奈与哀伤。它以平假名写成，让当时被视为女性文字的假名文学，达到了前所未有的高度。千年以来，它不断被改编成绘卷、能剧、漫画与电影，影响了日本的文学、艺术与审美。