前者陆抗攻占弋阳，引得朝议纷纷，在征讨主将的人选上，群臣各有不同的意见，王济力谏刘渊，但却遭到了其他人的反对，认为刘渊乃是异族，其心叵测，不可付之以兵权。
司马炎权衡再三，也就没有采纳王济的提议，而是改派豫州都督陈骞带兵出征了。
但此事却并没有由此而得到平息，贾充密谏司马炎，认为刘渊担任上党太守，而上党距离京师洛阳极近，倘若刘渊怀有异心的话，恐怕会为祸朝廷，所以贾充建议司马炎将刘渊调离上党，改到幽州偏远郡国任职，以防万一。
如果是盛世年月，晋国兵雄马壮，倒也不担心匈奴人会作乱，但现在不同，蜀吴不断滋扰边境，晋国内部亦是矛盾重重，内忧外患之下，司马炎也不得不慎重考虑贾充的提议，而上党也确实是悬在洛阳头顶上的一把刀，为了消除潜在的威胁，司马炎下诏将刘渊改任幽州带方郡太守。
带方郡在朝鲜半岛，辽东太守公孙康为了扩张势力，析乐浪郡南部的七个县出来划为带方郡，征讨当地部落势力，并以带方为基地节制朝鲜半岛南方的三韩地区。
景初二年司马懿率军东征，大破公孙渊，将乐浪郡和带方郡收归朝廷管辖。不过带方郡做为魏晋极边的郡国，与当地部落冲突不断，局势一直无法稳定，司马炎将刘渊调往带方郡，一来是利用其勇武之力平定带方叛乱，二来是将刘渊调往万里之外，以消除隐患，带方在极边极远之地，就算把带方的天给捅破了，也不会关乎中原的局势。
朝廷的这一纸调令，让刘渊甚感愤慨，带方是辽东苦寒蛮荒之地，虽然表面上看起来这不过是一次平调，但贬谪的意味却很浓厚，刘渊是因为救驾之功才被封为了上党太守的，在上党太守的任上，表现也是可圈可点，并未有任何的过失之处，遭到如此贬斥，刘渊自然是心生不满。
诏书下达之后，王济的书信也跟着到来，王济在信中具述详情，这才让刘渊恍然大悟，原来是司马炎生出了猜忌之心，故而才将自己调往边远的带方郡。
这让刘渊甚为感慨，看来自己匈奴人的身份是永远也无法获得司马炎的信任了，匹夫无罪，怀璧其罪，自己想的看来真的是太天真了，以为凭着自己的能力和努力，就可以一步步地融入汉人的仕圈之中，封官拜爵，封妻荫子。
一纸调令，让刘渊的梦碎了，如果尊从司马炎的旨令前往带方，那么自己很可能终其一生不过做一个边郡太守，将来老死于蛮荒苦寒之地，这让刘渊着实不甘心。
他现在毕竟还相当地年轻，十八岁正是血气方刚心怀远志的年龄，让他去边远蛮荒的带方郡，一万个不愿意，不过刘渊并没有公然地抗旨，当着钦差的面，他交出了上党郡的印信，接受了带方郡的印信，整个的交接仪式异常的平和，只是临完之际，刘渊向钦差告了个假，希望在上任之前，可以回家探望一下家人。
对于刘渊的态度，钦差表示极为地满意，何况他的这点小小要求，一点也不过分，即将起程前往万里之外的地域，何时回还尚不得知，与家人分别前小聚一场，无论是法度还是人情都说得过去。
于是，刘渊离开了上党郡，回到了汾水河畔的兹氏县。
曹操将匈奴分为五部，令其北部居新兴县，中部居大陵县，南部居蒲子县，右部居祁县，左部居兹氏县，五部各设部帅，刘渊的父亲刘豹就是左部帅。
刘豹已过了花甲之年，膝下只有刘渊这么一个儿子，中年得子的他将刘渊视作掌上明珠，关于刘渊的出生，还有一段轶事，曹魏嘉平年间，刘豹的妻子呼延氏曾在龙门祈求神赐给她儿子，不一会儿，有一条头上长有两只角的大鱼，摆动着鳍，晃动着鳞游到祭神的地方，很长时间以后才游走。巫师们见到这种情景都感到非常奇异，皆道：“这是吉兆。”当天晚上呼延氏梦见白天所看见的那条鱼变成人。他左手拿着一样东西，约有半个鸡蛋大，景象诱人。他交给呼延氏说：“这是太阳的精华，吃下它就能生下贵子。”梦醒之后，呼延氏把她做的梦讲给刘豹听，刘豹说：“此乃吉兆。以前我让邯郸张冏的母亲司徒氏给我看相，她说我会子孙显贵，三代昌盛，看来司徒氏诚不欺我。”此后，过了十三个月，呼延氏生下儿子刘渊。刘渊出生时，左手上有渊字的纹路，于是刘豹就以渊作为他的名字。
刘渊去做上党太守的事，其实刘豹并不赞同，认为将来刘渊继承自己左部帅的位置，比给晋人做官更有前途，此刻闻刘渊回来，刘豹是欣喜不已，出城十里相迎。
刘豹虽然年过六十，但长年的马上征战，让他看起来一点也不显老，精神矍烁，气宇昂扬，看到儿子下马过来，刘豹上前便是一个熊抱。
匈奴人和汉人的礼仪有着很大的不同，匈奴人自然是热情豪爽的多。
刘豹瞪着眼冲着儿子道：“怎么这么有闲，想起回来看你老子了？”
刘渊自从到洛阳当了人质了，刘豹就再也看没看到儿子了，后来刘渊做了上党太守，也一直没有回兹氏县匈奴左部，屈指算算，也至少有三四年父子俩都没有相见了。
刘渊笑了笑，道：“你不是一直盼着我回来，不当晋人的的奴才吗？这回就遂你的愿，我回来就不走了。”
刘豹明显地一怔，追问道：“是你自己辞官不做了，还是人家把你给罢免了？”
刘渊笑道：“这有区别吧？”
刘豹一瞪眼，道：“区别大了去了，如果你自己干的不顺心，辞官不做了，你老子我还可以接受，如果是有人排挤你，将你罢免了，那可不成。”