徐渭听了十分悲痛。徐淮说:“我一直炼丹,不谙俗事,想请你回去办理你二哥的丧事。”
徐渭非常为难,不知道该怎么办,他一刻也不想离开自己的妻子,但是他又实在是思念二哥。潘克敬和潘似都极力主张徐渭回去,一是办丧事,二是参加科举考试。潘克敬一再向徐渭保证潘似的安全,徐渭这才决定跟大哥回山阴。他匆匆地收拾行囊,别了娇妻,随徐淮日夜兼程前往绍兴家里奔丧。
回到绍兴后,徐渭主持了徐潞的葬礼,并为徐潞撰写墓志铭。然后又参加了当年举行的科举考试,他的整个心都在潘似身上,考试自然不会中,他在绍兴度日如年般地度过了春季,得不到妻子的消息,更加重了徐渭的眷恋。他为此写下了《南海曲》:
“一尺高鬟十五人,爱侬云鬓怯侬胜。
近来海舶久不到,欲穿玳瑁簪未曾。”
转眼到了夏天,徐渭不顾大哥的挽留冒着酷暑赶往阳江,与潘似团聚。
徐渭走到江西时,他犹豫一下,最终还是来到了滕王阁上:到底是因为想来看名胜还是想来看那个姑娘,徐渭也说不清。徐渭没有想到自己会再次游玩滕王阁,阁还是旧时的阁,但旧时的人还在吗?徐渭立在江边,等待着夜幕降临,然后再去聚春院找素儿,他怅然地看着空空荡荡的大江,圆圆有落日正在西下,弯弯的月亮已然东升。江北烟树迷离,依稀传来狗吠声。他盘腿坐于石头上,倾听江声与心跳。江水让夕阳染红了,又被白云漂白,绵绵情思如江水,一弯新月照幽人。徐渭回味着两年前的情景,回忆起当时的曲子,当年的弹琴人还在吗?不知道。这使他吃惊不小:男女邂逅竟然有这么大的魔力!情愫这种东西,原来深藏在他的血液中。