下来，却也只是在地方上厮混，上不了台面，杨道临则是有女八人，却没有儿子，还是杨道嗣把其幼子过继给他，继承香火。
杨道嗣儿子倒是不少，有七个儿子，长子与次子已经先后逝去，老三杨或己，老实笨呐，身有残疾，在河东老家管理家务，四子杨诚久是杨道嗣众多儿子之中比较出众的一个，却也只是在四十三岁之龄，做到了肖州刺史之职，五子杨幼安，权欲太重，为人桀骜不驯，当过一段时间的官，与同僚之间的关系闹的很差，前些年，杨道嗣借故把他的官职给罢了，留在身边，帮忙打理家务，六子杨炳林，如今是吏部郎中，正五品的官职，不高也不低，但权力很大，还不到四十岁，家族中很多人支持他，继任下一代杨氏一族族长，最近他在朝中非常活跃，许多想法与做法，跟杨道嗣大相径庭，因为家族中很多人支持他，就连杨道嗣，现在都是已经有些管不住这个儿子了，幼子杨吕望则是过继给了兄弟杨道临为嗣。