杨家一门荣宠，但事实上，杨家三兄弟的关系并不融洽，杨坚的两个弟弟和自己并不是一条心，甚至有时候他们会站在杨坚的敌对面。
还是在宇文护当权的时候，由于独孤伽罗娘家失势，杨坚在两个弟弟面前总是抬不起头，而杨坚的两个弟弟的媳妇，都是出自当时的高门大族，因而，杨整和杨瓒就处处针对和挤兑杨坚。
由于当时杨坚的父母尚在，所以，兄弟间虽然有矛盾，但勉强还能相处。一直等到杨忠夫妇去世，兄弟间的矛盾便迅速激化起来，甚至于二弟杨整在宇文护面前告杨坚的罪状，企图陷害杨坚。而杨坚为了保全自己，只能一再隐忍，一再忍气吞声，杨坚也曾感慨，每当回到家里面对自己的两个兄弟的时候，就如同进了地狱之门。
对此，杨坚也曾放下狠话，杨坚说：“如果有朝一日，我拥有了天下，一定要让你们两个人改姓，你们不配姓杨，不去亲近自己的家人，反而向着外人，来对付自己人，这简直就是天理不容，是悖德，就应让你俩人姓悖。”由此可见，杨坚对他的两个弟弟，也是充满了憎恨。
有些历史研究者甚至怀疑，在晋阳之战中，杨整之死就是杨坚伺机报复的结果，杨整极有可能是被杨坚趁乱所杀。但这仅仅是一种猜测，没有任何依据，我对此也并不认同。因为当时周军大乱，就连宇文邕都身陷险境，所有的人只顾逃命，而且当时天色已晚，伸手不见五指，杨坚怎么可能在这种情况下杀人呢？
杨坚并不是不爱自己的弟弟，对于同父异母的小弟杨爽，杨坚却是格外疼爱。虽然杨坚曾发誓，一旦得到天下，便会让自己的弟弟改姓悖，事实上，这不过一时气愤之言。即使最终杨坚登基称帝，他也没有去报复自己的三弟杨瓒，杨瓒最终也是寿终正寝。
可以说，杨坚的一生，几乎没有品尝到多少天伦之乐，早年兄弟阋墙，到了晚年，诸子相残，唯一可以享受到一点家庭幸福的，唯有和自己的妻子独孤伽罗。
虽然杨坚的人生之路非常孤独，但杨坚始终有一个忠诚的战友，这就是独孤伽罗。杨坚并不泄气，因为此刻的杨坚，已经算是一个成功人士，他也是一个有远大理想的人，他不会再斤斤计较于这种家庭的纷争。
历经伐齐之战后，杨坚的人生迎来了一个新的台阶。此刻的杨坚，就如同一颗新星，迅速蹿红于北周政坛之上。杨坚从来都没有这样扬眉吐气过，鲜花和掌声接踵而至，功名利禄也随之而来。
很快，一封任命书如期而至，杨坚被任命为定州总管，进位柱
…。。