约气恨不过，就策划着孤身一人，秘密北渡，去投祖逖。
祖约尚未成行，另外三个家族倒先动了，那就是本籍河东的卫氏，以及京兆杜氏、江夏李氏。
卫展卫道舒，其叔母本为裴该从姑母，其妹则嫁与李矩李茂约为妻——正是那位大名鼎鼎的书法家“卫夫人”；杜乂杜安卿，迎娶了裴该的从妹。故此这三个家族围绕着裴氏，相互扶持，关系向来不错。
当然啦，与裴氏份属姻亲的，还有司马家以及琅琊王家——裴该的外祖父就是王衍堂兄王戎。然而“姻亲的姻亲不是我的姻亲”，王导可并没有因此关照卫、李、杜这三个家族，即便卫夫人倾囊相授少年“书圣”王羲之，他哥哥和丈夫都没能挤进“百二掾”去。其实从某种意义上来说，这三家都是被裴该给连累了……
故此在裴该北渡后，他们就只能去依附东海王太妃裴氏，问题裴氏虽然名份甚尊，却在王导等人的刻意防范下，不能对政治施加任何影响力——除非等到司马裒真能培植起自己的势力来。卫、李、杜三家因此郁闷啊，得闻河南已定，就都起了北归之心，只是恐怕局势尚有反复，故此暂且观望而已。
终于，裴该得掌长安朝政，与其写给裴氏的书信几乎前后脚到了建康，卫展等人大喜，在跑去向裴太妃请示之后，就赶紧收拾行装，出了建康城，直发渡口。然而到了地方一瞧，只见浩瀚长江之上，竟然不见片帆只影，船只全都被牵系在港口，竟然无一启航——哪条才是我们定下的渡船呢？