因为久居中原,刘渊所在部落汉化程度较高,刘渊自幼拜上党士人崔游为师,饱读儒家经典,常常和同学谈古论今。后来刘渊又学习武艺,擅长射箭,体力过人。
由于刘渊所在部落兵力强盛,共约三万余落,其父刘豹是左部帅,其祖父的弟弟呼厨泉是单于,所以在曹魏时期,十几岁的刘渊被迫远离族人,被送到都城洛阳当任子,就是为防止匈奴叛乱的人质。当时的权臣司马昭对刘渊十分礼遇,后来司马氏篡位,晋武帝司马炎也很欣赏刘渊,想要委以重任,打算让其领兵平吴。
其实这个时候,刘渊对中原王朝是没有反叛之心的。首先由于刘渊从小受儒家文化熏陶,到洛阳为人质时也受到了不错的礼遇。其次他的成长过程中,匈奴族和汉族也没有大的冲突,在洛阳时刘渊还交到不少名士朋友。所以刘渊暂时没有反叛的动机,此时司马炎基本可以放心委刘渊以重任。但孔恂、杨珧却进言:“臣下观察刘渊的才能,感到当今之世恐怕无人与之匹敌。陛下如果让他掌握少量兵马,则平吴事难成;若授以威权,则平吴之后,恐怕他将据有江南,不复称臣。与我族类不同者,其心必然不同。以刘渊统帅其部族,臣下尚且为陛下担忧寒心。如果以有天险为凭依的江南资助刘渊,怎么可以呢!”
司马炎听了这话,就不再提任命刘渊的事。刘渊因而很受打击。
后来关中鲜卑族秃发树机能叛乱,朝廷屡次镇压失败。尚书仆射上党人李憙劝武帝说:“陛下如果能够征发匈奴五部的兵力,授刘渊以一将军名号,令其西征平叛,凉州指日可定。”孔恂又跳出来说:“李公的话,还没有点破消除危患的道理。”李憙勃然大怒说:“以匈奴的强悍善战,刘渊的通晓用兵,再加上奉宣圣威,消除叛乱,还有什么可说的呢!”孔恂说:“刘渊如果能够平定凉州,斩树机能,恐怕凉州才真正有危难罢了。那时蛟龙如得云雨,将遨游长空,不再是池中之物。”晋武帝认为孔恂言之有理,担心刘渊趁机带领部族作乱,再次放弃任命刘渊。刘渊因而再次很受打击。
两次步入仕途受阻,刘渊心灰意冷,心态逐渐变化,不再想着为朝廷建功立业。刘豹死后,刘渊回到家乡,代为左部帅。他颇有政治才能,帐下聚集了很多豪杰名士。到杨骏主政时,刘渊被正式确立为匈奴五部领导。八王之乱开始后,司马颖担心刘渊作乱,又免其官职,让其到邺城任官。由于西晋政权对匈奴族采取歧视和防范的姿态,引起匈奴高层不满,加上西晋王庭内斗,实力大减,于是匈奴高层刘宣等密谋割据,复兴匈奴国,并推举刘渊为大单于。
众人之谋偷偷告知刘渊后,多年来受到朝廷怀疑和排挤的刘渊立即答应。刘渊以回部落参加葬礼为由,请求成都王司马颖放他回去,司马颖不同意。后来司马氏诸王攻战,刘渊以搬救兵为由回到左国城,短短二十天就召集了五万余人。
永兴元年(304),刘渊在左国城正式登上汉王位。他以复汉为名,追尊汉后主刘禅为孝怀皇帝,立汉高祖刘邦以下三祖五宗神主而祭之。而刘渊称帝仅仅是十六国乱世的开始。