西，直至进入霍阳山区，才勉强安顿下来。
这一千多人，就跟同时代很多人那样——比方说郗鉴——躲入山沟，自辟田土，劳作为生。钟声本人也扛着锄头下地，那王氏兄弟自然不好意思再跟着吃白饭了。只可惜他们一无所长，啥都不会干，好不容易经过协调，让他们帮忙放牧几十只山羊，外加捡拾羊粪，算是个不需要太多技术的轻省活儿。
王聿一开始还拿架子，不肯干，却当不起王卓先脱卸了长衣，把粪筐扛上肩，把牧羊鞭持在手中——哥哥都去劳作了，那你做兄弟的能不干吗？就这样，王氏兄弟等若婢仆，跟着钟氏孑遗饥一顿、饱一顿地熬过了漫长的岁月……
直到祖逖北伐，挥师进入河南，数场大战，终于站稳了脚跟。霍阳山中消息闭塞，要隔了好几个月，钟氏方才听得消息，钟声赶紧派人去长社探查、联络得实，这才拖家带口地弃了山中基业，返回老家——反正田契我都带着呢，既然还是晋人当政，我钟家的田土总该归还，那可比山里的田要肥多啦。
等到收回旧业，重新安顿下来，钟声便即撺掇王氏兄弟，说我是平民，跟贵人们不大搭得上话，你们可都是公侯显贵，何不前往洛阳去求见祖将军，谋个一官半职啊？言下之意，过去我收留你们，让你们活命，如今是你们回报我的时候啦——带挈一下呗。