后来，曹操一统北方，将呼厨泉的兵众分为五部，任命刘豹为左部帅，其余部帅也都由刘姓担任。
转眼晋室代魏，太康年间改变旧制，设置都尉，匈奴各部中，左部居住在太原的兹氏，右部居住在祁地，南部居住在蒲子，北部居住在新兴，中部居住在大陵，传到了刘渊一代。
史书记载，刘渊自幼爱好学习，拜上党人崔游为师，学习《毛诗》、《京氏易》和《马氏尚书》，他尤其喜爱《春秋左氏传》、《孙吴兵法》这两部书，大致都能诵读，而《史记》、《汉书》及诸子的著作，没有不阅读的。
刘渊曾经对一起学习的同学朱纪、范隆说：“我每次看书传的时候，往往禁不住要鄙弃随何、陆贾的缺乏武功，周勃、灌婴的缺少文才。道是由人来发扬光大的，一个方面的知识不了解，本来就是君子所看不起的。随何、陆贾遇上汉高祖而不能够建立起封侯的功业，周勃、灌婴跟随汉文帝而不能开创教化的大业，可惜啊！”
于是刘渊开始学习武学知识和技能，他聪明过人，姿态、仪表魁梧，身高八尺四寸，胡须长三尺多， 学习武艺上手很快，臂长而善于射箭，体力超过一般人。
刘渊的父亲左部帅刘豹去世后，西晋朝廷于是任命刘渊为代理左部帅，后来又任命他为北部都尉。
刘渊在任期间，严明刑法，禁止各种奸邪恶行，他不看重财物，爱好施舍，与他人相交，推诚相见，吸引了大批人才投奔到他的麾下，不仅仅是匈奴五部的豪杰，就连幽州、冀州知名的儒生，后学中杰出的人士，都不远千里来此游历，由于招纳了各色人才，刘渊名声尽显。
永熙元年，成都王司马颖镇守邺城，为了发展自己的力量，舍弃羯人拉拢匈奴部，上表推荐刘渊担任宁朔将军、监五部军事，两人私底下还结拜为兄弟。
刘渊表现得感激涕零，暗地里向司马颖效忠，投入到司马颖的怀抱里，成为司马颖手中一支秘密力量，后来成都王司马颖调离邺城，东海王调任并州镇守，此人雄心勃勃，一心想成就一番事业，于是拉拢各色力量。
刘渊手握匈奴五部势力，自然是重点拉拢对象，刘渊也不含糊，马上投入司马越的怀抱。
司马越兴高采烈，以为收了一条忠心的猎犬，却不知道这是一头蹲伏的猛虎。
司马遹兼并司马伦的力量起兵后，司马越也接到贾南风的秘密书信，邀请他南下，司马越在谋士的怂恿下，觉得自己的机会到了，便带着本部人马并一部分匈奴精骑，南下洛阳，虽
…。。