家人们答到：“那么，没有办法。无论是怎样难得的宝物，我们遵命去找求吧。”

大纳言看看他们的神情，笑道：“这才对了。我大伴家里的家人，是天下闻名的，难道会违背我主人的命令吗？”

于是家人们出门去寻找龙头上的玉。

大纳言把家中所有的绢、锦和金子都取出来，交给这些家人，作为他们的路费。

又对他们说：“你们出门之后，我就吃斋念佛，直到你们回来。如果取不到这玉，不准你们回到我这里来！”

家人们听了主人的嘱咐，一个个懒洋洋地出门去了。

他们都想：主人说，如果取不到龙头上的珠子，不准再回到这里来。但这东西，根本是取不到的。他们各自随心所欲地东分西散。

众家人都咒骂主人，说他好奇。

他们把主人给他们的东西随意分配一下。

有的拿了东西回家乡去了。有的随心所欲地到别处去了。

他们都诽谤大纳言，说道：不管是爹娘还是主人，这样胡说八道，叫我们没有办法。

大纳言全然不知道这情况。

他说：“给辉夜姬住的普通的房屋太不象样。”

连忙建造起特殊的房屋来：室内四壁涂漆，嵌上景泰窑装饰，施以各种色彩。屋顶上也染成五彩，挂上各种美丽的带子。每一个房间里都张着美丽无比的锦绣的壁衣。而且把他本来的老婆和小老婆都赶走。无论何事，他都不爱，一天到晚为了准备迎接辉夜姬而忙碌。

且说派遣出去取龙头上的玉的家人们，不管大纳言朝朝夜夜地等待，过了年底，到了明年，一直音信全无。大纳言不胜焦灼，便悄悄地带了两个随身侍从，微行来到难波港。看见一个渔夫，便问他：“大伴大纳言家的家人们乘了船去杀龙，取它头上的玉，这新闻你听到过吗？”

渔夫笑道：“哈哈，你这话真奇怪！首先，愿意为了做这件蠢事而放船出去的船夫，在这里一个没有。”