纵千般阻扰，也阻挡不住柏木内心对女三宮的思念之情。至今给女三宮写的信，都是她身边的小侍从帮忙回复的，哪怕只是一句话，柏木也想收到来自女三宮的亲自回信，可这是不容易的。然而，对此刻内心煎熬万分的柏木而言，已然不是容易与不容易之分，为了她，即便要得罪光源氏，或是对他不敬，他都无畏无惧了。
三月在六条院举行的竞射，柏木带着沉重的心情参加，想着远距离靠近一下心爱的人也能减轻自己的忧愁吧。一旁的夕雾看着心不在焉的柏木，多少也猜到几分，可他也猜不透柏木内心翻涌的心思。柏木虽然无畏，可见着光源氏，心里难免有些恐慌，生怕被人知晓他的秘密。一个人无名忧伤，恍恍惚惚。他想，即便不能得到女三宮，也想得到她的猫。
难以解忧的柏木进宫见自己的妹妹，可一见到妹妹，便勾起他自小的烦恼，为何亲生兄妹也不能无拘无束地见面。想到自己如梦一般见到女三宮的脸容，便觉得这是上天注定的缘分。之后，他去见东宫，东宫是女三宮的哥哥，既然是兄妹，多少有些相似之处吧。
柏木绞尽脑汁从世间的各个角落寻找能与女三宮地搭上关系的人事物。
东宫这里养了一只猫，柏木想起女三宮的猫，便提起这件事，还特意说了许多夸奖猫的话，勾起东宫的好奇心。他晓得这样一来，东宫就会把女三宮的猫要过来。两三日后，当柏木再次过来伺候的时候，女三宮的猫已经来到东宫的殿里了。柏木掩饰着内心的狂喜，抚摸它，亲近它，听着东宫说这只猫似乎有些怕生，不太近人，便温柔地说自己多么喜欢它，不如先让他带回家养一阵子。东宫答应了。柏木如获至宝，他把猫捧在怀里，爱抚它，关心它，与它说话，与它同睡同吃。旁边的人都讶异这事怎么发展成这样了。待东宫再想把猫要回去的时候，柏木都借口拒绝了。
在柏木的心里，猫是他的「知人」，是他无可抵达的恋爱的「信物」。他深感自己与猫有着前世之缘。
*
新帝即位。新帝即上面提到的东宫，也是女三宮的哥哥，如此，女三宮的地位也跟着提高了。
虽无意与人争夺什么，也非嫉妒之心作怪，可眼前的境况，让紫之上也颇感不安。她深知自己的幸福无可比拟，且都是仰赖着光源氏一人的独宠独爱而得到的，她害怕这份独爱不是永恒的，害怕自己的地位会受到撼动，便思虑出家当尼的事，可光源氏始终不同意。
*
出家后勤心佛事的朱雀院对女儿（女三宮）仍旧挂念不忘，总想还能见她一面。光源氏为达其心愿，借着来年给他庆贺五十大寿的契机，让女三宮与他见面。昔日女三宮曾跟随父亲朱雀院习琴，后因为某些缘故中断学习。出家之时，朱雀院也拜托光源氏给她传授弹琴的秘技。为了这难得的庆贺之事，光源氏兴致勃勃又劳心劳力般亲自教授女三宮琴法。
冬日时分，映照在雪上的月光清透盈盈，而一向喜好冬月的光源氏，也时常与一众爱好音乐的女官们合奏。
到了正月，光源氏见女三宮的琴技颇有长进，不忘夸奖她，又说其他人都愿意听听她的琴声，便把紫之上，明石姬，明石君都叫到一起，每人拿着自己得意的乐器，合奏同欢。紫之上与和琴，明石姬与筝，明石君与琵琶，又把夕雾叫过来，让他吹笛子。可以说，除了明石君以外，其他人都是光源氏的弟子，她们的琴技皆有他亲身教导的光荣。
这是一家人的和睦和美的琴音之欢。
在光源氏的眼里，女三宮看起来模样小巧而高贵，让人想到二月末低垂的青青柳枝；旁边的明石姬多添几分爱娇之感，一如佛晓之际的盛放紫藤，此刻身怀六甲的她，弹过琴后便稍稍靠着休息，更有几分慵懒美意；紫之上所在之处弥漫着清幽香气，若以花喻人，她是樱，可又比樱多出几许无可比拟的美丽新色；而明石君，虽说身份比不过其余三人，可她的谦逊和沉着亦是她的美感所在。她身子微斜，抱着琵琶悠悠弹奏，恰如初夏刚刚折下的一枝橘花。
*
紫之上今年三十七岁了，而三十七岁对当时的女性而言是厄年。光源氏对她既是百般嘱咐也是万分照料。出家是了却心愿，也能让浮躁不定的心安稳下来，可光源氏始终接受不了紫之上先于他而出家。他以为自己给紫之上的独一无二的爱与怜惜能战胜一切。
某夜，当光源氏在女三宮的屋里时，收到信说紫之上突然病重了，光源氏吓得心都要跳出来，连忙回去看她，可她已然意识模糊，甚至还偶发痉挛，尽管僧们祈祷不断，可连续十几天仍旧没任何起色。想着变换一下地方会好些吧，便把紫之上挪回到二条院养病，而许许多多人也跟着回去。霎那间，热闹的六条院变得寂静冷清。
*
此时的柏木，娶了女三宮的同父异母的姐姐女二宮为妻。女二宮是更衣之女，地位比不得女三宮，柏木也忍不住纳闷，为何同是姐妹，可两人却这样不同。虽说表面上他待女二宮无甚不好，可他内心，念念不忘的还是女三宮。
听闻光源氏忙着照料紫之上，无暇顾及女三宮，柏木起了心念，央求着女三宮的小侍从，看能不能安排他与女三宮说上话。小侍从自然是不肯的，可也耐不住柏木的纠缠，便随口道，有机会的话再看看。柏木等啊等啊，一边等一边催促，终于，在四月的某日，趁着女三宮里的人都忙着到外面准备一些事情，屋里只剩按察使君与小侍从，而按察使君也被自己相好的男人叫出来了，小侍从便偷偷把柏木引到女三宮的屋前。什么都不知晓的女三宮在屋里小憩着，听着仿佛是男人的声音，以为是光源氏，可当那个人把她抱起来，而她抬头一看时，才惊讶地发现眼前的人并不是光源氏。她吓得身子发抖，全身发冷。柏木一句一句地吐露自己的情意，女三宮这才认出来这是那位写信给她的人，如此更害怕得什么话也说不出口。
原本柏木只想听女三宮说一句话，一句简简单单，无所谓意义的话，可女三宮一直沉默，或者说她根本被吓得魂都不在了，无法回应柏木的要求，柏木好话丑话都说尽，仍旧没听到女三宮的话语。情之所至，情亦难舍，柏木犯下了他几乎从未想过自己会犯的错，当他意识过来的时候，已经成了无可挽回的事实。柏木离开后，留下来的女三宮以为自己做了一个恐怖的噩梦，宁愿自己即刻死去了。
柏木也像丢了魂魄似的，不愿回去见女二宮，便到父亲的屋里休息。他感觉自己成了千古罪人，成了无可挽救的废物。
敏感的女二宮也知道柏木对她不过如此，两人在一起的时候，也会显得有些生疏。葵祭当日，当别人都到外面游玩的时候，女二宮寂寞般弹着琴，琴声悠扬，亦有品格，然而，琴音传到柏木的耳边，却只得到的柏木的不解和叹气。他甚至在纸上写下略带嘲讽之意的歌。
柏木「もろかづら落葉を何にひろひけん名はむつまじきかざしなれども」
「両鬘という名を聞けば、二つとも優劣のない睦じい挿頭のようではあるが、自分は何でそのうちの劣っている方（落葉）を拾い取ったのであろう（说到「両鬘」，双方皆是优劣不分和睦要好的假花，为何我偏偏捡了逊色的那一朵）」
*
紫之上被物怪纠缠，好几次濒临死亡的边缘。光源氏心痛不已，只求着她还能醒过来，还能跟她见上一面。
许久不肯离身的物怪终于挪到了一个小童身上，借着小童的身子露出原貌。不论是她说话的声音还是模样，都像极了昔日缠绕葵之上的物怪，光源氏认出来了，这个苦苦纠缠的物怪正是六条御息所。她哭诉道为何在她死后，还在不停地讲她的坏话，为何总是把她说得这样不堪，明明她的心里只有他（光源氏）一个人……物怪说什么也没用的，而后她也被祈祷的僧们镇压住了。
众人以为紫之上离世了，便纷纷赶来慰问，柏木也来了。这时，哭肿了眼睛似的夕雾出来解释说，先前是物怪的缘故，如今苏醒过来一些，也安心了。很快光源氏也出来解释，看到光源氏，柏木后背的冷汗流个不停。
*
到了六月，紫之上终于能把头抬起来一些。为了让紫之上能看看莲花，光源氏连夜让人修葺池塘。
紫之上「消えとまるほどやは経べきたまさかにはちすの露のかかるばかりを」
「とても私は、蓮の露が消え残っているほどの間も生きて行けそうもございません、今ちょっと病気がよくなってこうしているだけでございます（我啊，恐怕熬不过莲上的露珠消逝这短暂的光阴，现在也只是稍稍好了一些）」
光源氏「ちぎりおかんこの世ならでも蓮葉に玉るるつゆのこころへだつな」
「この世ばかりでなくあの世へ行っても、蓮の葉にいる露の玉のように一蓮託生であることを約束しておきましょう、その時になって少しでも私を疎んじてくださるな（不仅仅是这一世，还有另一世，我们约定如莲叶上的露珠一般一莲托生，到时候，你可别疏远我哦）」
光源氏听说女三宮身体不适，过来看她，跟乳母了解了情况后得知是怀孕了，光源氏难掩高兴之意。见女三宮难受的样子，便在这里多住了几日。柏木得知光源氏时时陪在女三宮身边，心生妒意，急急写信过来。趁着没人，小侍从又把信递给女三宮看。正当女三宮看着信的时候，光源氏走进来了，她慌慌张张地只把信藏在垫子下面。
光源氏担忧着紫之上，这边说着要离开，可那边看着女三宮又不舍，便又留下午睡。蝉声不断，扰人清梦。醒来后的光源氏连忙穿衣要离开，女三宮鲜有地以歌诉情。
女三宮「ゆふ露に袖ぬらせとや蜩の鳴くをきくきく起きて行くらん」
「夕べの露に袖を濡らして私に泣けというおつもりなのでしょうか、この日の暮に、ひぐらしの鳴くのをお聞きになりながら起きてお帰りになりますのは（这样的黄昏，听着蝉鸣声你就要起身离开，是故意让露湿袖子的我哭泣吗）」
光源氏「待つ里もいかが聞くらんかたがたにこころさわがすひぐらしの声」
「待っている二条院の方でも、どんな気持ちでこの虫の声を聞いているであろう、あれにつけこれにつけ私の心を騒がせる蜩の声であることよ（在二条院等着我的人，听着虫鸣声又是怎样的心情呢，从四面八方传来的蝉鸣声让人心乱不安啊）」
不舍不舍，光源氏又多留了一夜。第二日一早，他不见了自己带过来的扇子，便四处寻找，正好找到昨日午睡的地方，而就在垫子下，他发现一团绿色信纸，拿起来一看，是男人的笔迹，絮絮叨叨地堆满情意。光源氏认出来这是柏木的笔迹，既恨又怒。一时又怪女三宮的草率，正是因为她的草率才会酿成这番无可挽回的过错。这样的信，倘若被别人看见该酿出什么笑话。小侍从过来送东西时，目睹了光源氏在读柏木的信，惊得浑身发抖。
等光源氏离开后，小侍从匆匆过来跟女三宮说，信被光源氏发现了。女三宮震惊得不知所措，只剩下泪流不止了。
带着几分怀疑，回到二条院的光源氏又把信拿出来看，他确定这正是柏木的亲笔信。如此露骨，如此不由分说的坦白信，真是厚颜无耻之极啊。光源氏想起从前的自己，倘若要表达爱意，多少要暧昧些，朦胧些，这样一来，若被人发现，也不好分辨谁是谁。如此马虎与失策，他对柏木也只有蔑视了。
得知真相后，光源氏不忍直面女三宮，而女三宮也无法直面光源氏，两人表面上还是如平常一样，可两人之间难得被捧起来的爱意此刻已经摔个粉碎了。
*
惊闻朧月夜出家了。得知消息后的光源氏怨她，这么重要的事，却没有提前告知他。可朧月夜一直拖延着，也只不过是因为光源氏的劝阻。长久以来的苦恋到这一刻也终于告一段落了。
心无芥蒂般，光源氏把朧月夜的信给紫之上看，悲伤道「这个人出家了，往后再也没有人能与我分甘同味了。朝颜也是尼了。」紫之上回应道「我只羡慕她们呢。」
*
朱雀院的五十之贺因为各种事情一拖再拖，最后定在十二月。当日会有舞蹈表演，而参与表演的人都在六条院认真练习。平素这种场合，柏木一定会热心参加的。已经有大半年没出现在六条院的柏木，此刻光源氏想起他，便写信让他过来。柏木清瘦了不少。光源氏若无其事般问候起他，柏木只说自己从春天起就患了脚气，行走不便，多是待在家里之类的话。光源氏仍旧不忘赞美他。
看着孙子与孙子一辈的人认真习舞的样子，光源氏又道「看着小孩们跳舞，内心感感怀万分，也忍不住落泪。是年老的缘故吧。右衛門督（柏木）你笑是觉得衰老很奇怪吧。别担心，你也会这样哦，一样会老的。」柏木深知光源氏的话是特地说给他听的，内心难受又难堪，眼前是什么也看不清了。
那日回家后，柏木便病得卧床不起。父母担忧万分，商议着让柏木住到自己的屋里，可这是置女二宮于何地呢，丈夫生病了，妻子都不能留在身边。女二宮以为这是要与柏木分别了，虽据理力争，可也无果。柏木搬回父母的家中。
*
据谷崎润一郎的注释，上面提到的新帝即位之时，光源氏是四十六岁，而在此之前的事发生在他四十二岁，即光源氏四十二岁到四十五岁之间的故事在物语里没有出现。由此可见，柏木从见了女三宮一面到最后的关系，中间也有六年之隔。
另，光源氏比紫之上大七岁，若光源氏四十六岁，紫之上也将近四十岁了，作者可能是故意写成三十岁的，突出「厄年」一说。
