素祖父杨喧这一支，光嫡子就有三十几房·庶子百余房，嫡子在朝中、地方或者军中做官，庶子则务农经商·也有从军为官，且大部分都在弘农老家，住在京城杨府的，主要是杨素七兄弟的子女，以及几个和他关系极好的从父家庭。
就是这样，生活在杨府的子弟也有嫡房二十余家，庶房五十余家，子孙二三百人。
由于家族矛盾激化，杨玄感的家主之位岌岌可危，已经严重影响到了他所谋大事，再加上杀妻事件引发郑家上门声讨，杨玄感找到了借口，他在深思熟虑后，毅然做出一个重大决定，‘休妻换声望，。
杨玄感缓缓对众嫡房道：“各位，我不在京城九个月，家族中发生了很多大事，很多矛盾都是由我妻子郑氏的任性妄为所引发，作为家主，我有一定责任，为了给家族一个交代，我已决定休妻．．．．．．”
杨玄感的休妻决定在嫡子们中引起一片哗然，杨玄挺急道：“大哥，大嫂虽处事不公，但她毕竟跟了大哥三十年，怎么能说休就休，再说她送给郑家的钱粮，郑家不是已经还回来了吗？就当是她擅自借给郑家，我看取消她的财权便可以了，休妻就太严重了。”
众嫡子虽然都不满郑夫人，但若真到休妻这一步，大家也觉得有点严重了，纷纷劝杨玄感，杨慎也劝道：“玄感，再怎么也要替峻儿、嵘儿想想，七出中，盗窃之罪我觉得有点重了，最多是妒，但她不是也让你娶妾了嘛！我看，让她道个歉，不再管财权，也就可以了。”
杨玄感摇摇头道：“我休妻倒不是因为七出，而是郑家欺人太甚，今天下午，郑善愿来找我，他不是来做和事佬，而是要我杨家公开向郑家道歉，而且包括我母亲郑氏，他也认为是被我父亲逼死，令我忍无可忍，如果我把她接回来，那就意味着杨家屈服于郑家的威胁，我作为家主，对外人我必须要摆明态度，决不能软弱，我意已绝大家不要再劝。”
杨慎心中叹息一声，他知道杨玄感休妻是为了什么，为了修补他的声望，凝聚家族力量，为即将到来的起事做准备，侄子的态度如此坚定，义无反顾，作为叔父，他又怎么能不支持呢？
杨慎对众人道：“大家应该看到了家主的决心和态度，这才是杨家家主的风范，铁面无私，不徇亲情，从现在开始，我不允许谁再提分家，再提更换家主，如果谁敢再提，以族规中的犯上来处罚！”
杨玄挺立刻道：“我全力支持家主，希望家主能带领杨家重新走向振兴！”
众人纷纷表示支持，杨玄感摆摆手
…。。