衰败，到了他这一代，黄家还是位列门阀，世袭国公爵位，但已经只有名，而没有那个实力了。
门阀世家最大的特权，便是拥有大量的菛荫，通过这个捷径，大量的子弟可以直接进入仕途，但是菛荫也是有人数限制的，家族做官的人多，当大官的人多，那菛荫数量自然是很多，但是黄家因为衰败，所以菛荫数量有限。
黄远是嫡出老五，上面还有四个哥哥，但他父亲，因为在政治上比较平庸，最后也只是止步四品之位，本身只有两个菛荫的数量，所以最后，他的大哥和三哥，顺利步入仕途，而作为老五的黄远，则是没有了这个机会。
而黄远虽有仕途之心，但几次科举不中，家里为他谋了几个县丞的小吏，他也看不上，高不成低不就的，加上家族的衰败，黄远最后心灰意冷，醉心书画，倒也是有了很大的成就。