对光源氏心灰意冷的六条御息所决定了跟随女儿到伊势，因为她的女儿被选为「斎宮（代替天皇修行）」，临近出发（九月），依依不舍的光源氏特意到母女所在的地方，想要见面，说尽了好话，道尽了心中的苦楚，可御息所都选择不见面。
光源氏「暁の別れはいつも露けきをこは世に知らぬ秋の空かな」
「明け方の別れはいつも涙を催して湿っぽいものであるのに、今日はまた特に今でも覚えのないほど悲しい秋の空模様であることよ（黎明的分别总是催泪的，可今日的悲秋模样是我记忆里从未见过的）」
此时此刻，要分别是多么痛苦的事。光源氏握住了女方的手。冷风吹拂，虫鸣不绝于耳。不解风情的人恐怕都忍不住哀叹这一刻的悲情。
御息所「大方の秋のわかれも悲しきに鳴くねな添へそ野辺のまつむし」
「たださえ行く秋との別れは悲しい物なのに、鳴く音まで添えて一層悲しみを深めてくれるな、野辺の松虫よ（仅仅是秋日的分别已然悲伤不已，野地的松虫哦，不要再响个不停，徒添悲愁了）」
*
到了出发当天，自感被抛弃的光源氏也不好送行，只是各个方面极尽心意送去礼物。又给「斎宮（御息所的女儿）」写了信。
光源氏「八洲もる国つ御神も心あらばあかぬ別れの中をことわれ」
「大八洲の国を守り給う国の神も、同情の心がおありになるなら、どうして飽かぬ別れをしなければならない仲でしょうか、判断なすって下さい（倘若守护八洲国的国神有同情心的话，请判断一下哦，为何我们非要分别不可呢）（这里的国神指斎宮，而八洲国是古时对日本的美称）」
斎宮「国つ神そらにことわる中ならば、なほざりごとをまづやたださん」
「もし国つ神が空においでになって二人の間柄を判断なさるとしたら、何によりもまず、あなたが御息所に対していい加減な出まかせをおっしゃったことを糺明なさるでしょう（倘若国神要判断你们两人的关系，最先要辨明的是你对御息所敷衍的信誓旦旦吧）」
让光源氏意外的是，斎宮的回应沉稳得仿若大人一般，光源氏的内心不由得心动了，又怪责自己当初为何不多多到御息所那里去，那时候可是想怎么见就能怎么见的。这时的斎宮已经十四岁了，恐怕长年以来，她都目睹了不少母亲御息所的孤独悲叹，又晓得了不少来自光源氏的冷淡和疏离了吧。
浮世不定，或许往后还有机会见面呢。光源氏把自己对斎宮的心意放在心上。
当斎宮一行人路过二条院的时候，光源氏悲伤难耐。折了杨桐和信一起送给御息所。
光源氏「ふり捨ててけふは行くとも鈴鹿川八十瀬の波に袖は濡れじゃ」
「今日は心強く私を振り捨てていらっしゃるけれども、やがて鈴鹿川をお渡りになる時、八十瀬の波にお袖が濡れないでいるだろうか（今日你这般狠心抛下我，等你渡过铃鹿川的时候，多半也会后悔流泪吧）」
收到信那一刻，天已昏暗，不好写信，第二日，御息所才回了信。
御息所「すずか川やそせの波にぬれぬれず伊勢までたれかおもひおこせん」
「私の袖が鈴鹿川の八十瀬の波に濡れようが濡れまいが、伊勢へ下った私のことなどと、誰が思いやって下さいましょう。あなたもじきにお忘れになりましょう（我到鈴鹿川的时候会否落泪，谁又会关心呢。下一刻你就会忘了吧）」
*
十月，桐壶院病逝。接二连三遭受亲人离世的光源氏愈发感觉浮世无常，不如现在就出家了吧。可一想到，身边有紫之上，有藤壶及其儿子，不论是谁都要依靠他，又不得不承认自己抽身不得。
光源氏对藤壶的情意从未消退，可如今，再要面对光源氏热烈的爱慕，也不是藤壶想要的。不论是为了她的名声还是为了自己的儿子，她都不愿意跟光源氏有恋人关系。面对藤壶的冷漠和拒绝，光源氏郁郁寡欢。
*
又是一年秋天，光源氏独自一人到云林院修行。望着秋天的原野，潜心念经，仿佛也能忘了世间的一切人和事，然而，不多久，仍旧感到愁思不消。这期间，想起来便给紫之上写信。
到了桐壶院的一周忌（十月），在没有告知任何人的情况下，藤壶选择出家。一时间，不论是在她身边侍奉的人，还是认识她的人，都痛心不已。光源氏更是惊讶得连话都说不出口。他知道，这是藤壶不愿再与他有情感上的牵连了。
*
自从桐壶院离世后，宫中的势力逐渐往右大臣一派倾斜，不论是光源氏还是左大臣一家都遭到了不同程度的打压。春天的官员认命也证明了这一点。光源氏也选择韬光养晦，经常在家举办诗会或乐会，少过问政治上的事。
尽管朧月夜早已是朱雀帝的尚侍，可也不妨碍她与光源氏交好。一直以来，女方都钟情于光源氏。光源氏对她，既有情感上的爱，也有内心无可排遣的对右大臣一派的厌恶而导致的想要报复的心理。他心知继续这段关系大概会招致恶果，可他也不顾了，颇有种破罐子破摔的心情。
某个时候，朧月夜出宫养病，回到自己的家，光源氏照样去见面。某日，暴雨雷鸣，天亮了光源氏也无法离开，只能等着，怎知，朧月夜的父亲右大臣突然过来问候，心惊惊的朧月夜，脸通红通红的，右大臣以为是她病着的缘故，不巧，他发现朧月夜的身上挂了一件男人的衣裳，又瞧见地上散落的光源氏写的歌，顿时狂怒发飙，冲进去便发现有个男人躺在地上，他知道那是光源氏。
无可抑制的恼怒促使右大臣把这件事原原本本地告知了太后。这一次，不论朧月夜还是光源氏都深知闯祸了。
*
这一帖跨度两年。到后面，光源氏二十四岁了。
可以说，自从桐壶院离世后，光源氏的人生基调不经意地已然往悲伤的方向发展。仿佛爱他的人都离他而去了，而他想要紧紧抓住的人，也不随他的意了。世间突然变了一个样。
御息所跟随女儿到伊势这样的事，此前都没有过先例，然而，她不愿再在这里受罪了。当葵之上离世的时候，世人都传她或许会成为光源氏的妻子吧，可当她知道光源氏另外有了一个人（紫之上），她便知道这件事无望了。而光源氏也从未对她表达过这种想法。
