行之，他被裴该特命为闻喜县令，回老家去整顿家务事。
按例，本县之人不得在本县任官，但裴该既执权柄，他这么小小地破坏一下制度，是没多少人胆敢出言反对的——陈頵为拾遗，负有谏诤之责，倒是提出来过，但未切谏。裴通乃得到裴该的授意，既入闻喜，交接印信后，便即乘车驰往本家而来。
裴硕等人急忙出坞相迎，裴通指点着偌大的庄院，撇一撇嘴，说：“国家既复闻喜，且灭胡逆，驱羯贼于西河以北，境内平靖，则我家还须建坞堡、立垣墙，等若城邑么？难道想用来抗拒王师不成？”
裴硕赶紧承诺：“是老朽之失，理当即命子弟平壕、毁垣。”
这也是大势所趋，不得不然。一方面，裴军既复河东，则以薛氏为首，纷纷撤去了旧日所建的堡垒，就连牢固不拔的薛强壁也给扒了——薛宁撤此堡，多少感觉有些肉痛，但考虑到此堡以兄子“薛强”为名……扒了也好——裴硕仍旧拖延着不拆，是因为县中并无明令。既然今天裴通当面指出，还把话说得很重，则裴硕又岂敢抗命啊？
另方面，裴该曾经恐吓裴硕，说要“破裴氏而伐裴柏”，裴硕也担心不毁垣墙，被裴该逮着动手的借口。对于裴该刻意要与家族作切割，进而弱化裴氏，即便裴嶷等人也皆不能洞察其真意，裴硕自然更是理解不了的。在他以为：因我久执裴氏族政，而裴该少小在外，则彼不但与族人毫无亲情，更唯恐难以复收族权，所以一定要打压我，以及过往在族内横行之辈……
其实裴硕心说，我本无擅权之意，此心天日可表，偏偏为时势所迫，恶了裴该，乃不容我剖肝沥胆，仔细分辨……
也是我自入胡营，便已存死志，结果人老了，脑筋一时间没能转过来，竟然在裴该面前也要以死明志，则在对方看来，实有要挟之意了。
他担心裴通此来，就是奉了裴该之命，来搞大清算的，由此才赶紧答应，会尽快拆除已无必要的防御设施；随即还暗示裴通，大司马既然国事繁忙，不克归乡，则不如由县尊你来暂理族事吧，我早就想交卸这副重担了呀。
裴通却假意不明其意，并不表态，只是请裴硕等人领引，先去观览了裴柏，然后祭扫祖坟，又入祠庙拜过了祖宗牌位。当天晚上，裴行之虽然留宿庄内，却婉拒了裴硕的设宴款待，而以途中劳累为辞，早早地就返回寝室去了。但他并未熄灯睡下，而是端坐室中，似有所待……
果然不出其所料，黑更半夜的，陆续有族人来访。
裴硕既执族政
…。。