去了江南，裴蕴的祖父在南梁当过卫将军，父亲裴忌更是做到了南陈的都官尚书(刑部尚书)，而裴蕴本人在南陈也做到过直阁将军，兴宁令。
当年南陈大将吴明彻北伐时，裴忌跟随大军一起出发，与吴明彻后来一起被北周俘虏，十余年后，在北方郁郁而终。而裴蕴则因为父亲身在北方，又看清了南陈君昏臣庸，必将被北朝所灭的大势，于是暗中给杨坚上表，请求作为隋朝南征时的内应。
后来隋朝灭陈以后，杨坚召见了所有曾经在南陈做过官的江南衣冠之士，裴蕴也在此列，杨坚想起裴蕴曾主动上表投靠的事。出于当时收拢江南人心的需要，杨坚当即决定给裴蕴一个正五品仪同的官职。
高熲当时认为这个官职给得太高了，即使是周罗睺这样的南朝名将，也只不过得了个仪同的官职。而裴蕴当时在南陈只不过是个七品的县令，只因为给杨坚暗中上了个请为内应的表章，就一下子成了正五品的仪同，实在是没有道理。
于是高熲就直言这个官职给得太高，在朝堂上谏言道：“裴蕴对国家没有尺寸之功。却被授予高官，臣认为不合适。”
杨坚马上回应道：“那就给裴蕴当个上仪同。”一下子把裴蕴的官从正五品又提升到了从四品。
高熲当时一下子就急了，进一步地直言进谏，换来的却是杨坚的一句话：“那就再加个开府!”于是裴蕴一下子又官升一级，成了正四品的开府仪同三司了，跟那个真正当了带路党的前南陈将军羊翔官职一样。这下高熲再也不敢说话了，怕是再一开口，会帮着裴蕴继续升官。
裴蕴入隋后，十几年来连续当了洋州、直州、隶州这三个下州的刺史，在任上精明强干。政绩出色，一直被人所称道。这次杨广一即位，就把他从隶州刺史的任上召回，进入中央朝廷担任太常少卿。
王世充想到这里，一切都明白了，裴蕴当年被高熲当堂阻其官路，肯定对高熲怀恨在心，而现在杨广把这裴蕴弄去当高熲的副手，负责的又是这礼乐和祭祀方面的事情，摆明了就是要抓高熲一个把柄。置他于死地的。
当年杨坚在位时，一切都从俭，曾经请牛弘负责，把北周的宫廷皇家乐队就地解散。只留下少部分吹奏弹唱正统严肃礼乐的成员，其他乐工全部打发回家。
而以杨广贪财好色，追求享受的个性，一定会重新把那些能作糜糜之音，奇技淫巧的艺人们重新招进皇家宫廷乐队。裴蕴在太常少卿的位置上就是做这事的，而高熲这个古板正直的老古董却一定会反对此事。所
…。。