吕布既然拜服，文远当即上表奏请朝廷封吕布为折冲将军。命人将其妇孺家小送入邺都定居，吕布则留在军中听命。一番安排之后，吕布诺诺连声告退，领着妻小出帐团聚去了。
看着吕布如此急切要与家小团聚的样子，河北众将眼中无不闪出了一丝鄙夷，大丈夫何患无妻？吕布如此宠溺妻妾，而疏远众将，也是其沦落至此的原因之一。
而文远看着则别有一番见解，至少在感情方面，吕布还是个真性情的人，宠溺妻妾倒并不是什么错事，错就错在吕布太狂妄愚昧，稍有一丁点成功就得意忘形，有一班如高顺、陈宫这样的忠臣良将而不能用，言不听、计不从才会沦落至此境地！
提到重臣良将，文远心神一收，走下座位亲为高顺解去身上束缚道：“高顺，阳平亭一别，咱们已有好久未见了！这段日子过得可还好吗？”
高顺默然点头，没有吭声。
文远拍了拍高顺的肩膀道：“高顺，怎么样，以前我与吕布是敌对关系，你不肯背主投靠，也在情理之中。只是如今连你家主公已经归顺于我，这一次你还愿不愿意入我帐中？”
高顺，可以说是吕布营中文远最想得到的一个将领。甚至说，文远想要得到高顺的心思甚至还要胜过得到吕布！
高顺是一个实实在在的忠臣，一个深思远虑使谋化策的谋臣。是一个很注重个人修养的人。他很有威仪，治军也很严格。不饮酒，也不接受别人的馈赠。一个将军有这样的品格，着实让人尊重。
而且高顺敢于直言进谏，他曾向吕布进言：“凡是破家亡国的君主，并不是手下没有忠臣和能臣，是因为君主不能用人。将军每次的言行举动，都不肯深思熟虑，动辄就吧自己的过失说成失误，将军的这种失误也太多了吧。”
可是偏偏这样一个忠直的将领，吕布却因为各种原因不肯重用，还因为和部将魏续有些裙带关系，强行夺了高顺陷阵营的兵权，平时交给魏续，只是在作战时才让高顺统兵。
可就是这样，高顺也没有一点怨言，而吕布对高顺的态度则是知其忠，而不能用。
文远颇为期待的看着高顺，此人可以称得上将军中的君子，可是偏偏高顺却迟迟不肯点头！
“高将军，你怎地如此糊涂！”陈登上前道：“将军忠直，陈登着实佩服，奈何吕布不纳忠言，不用良谋，任人唯亲，实乃庸碌之主，此等人，有何可保之处？”
可是众人一番苦劝，高顺始终默不作声。这让文远更加钦敬，历史上高顺被曹操俘虏后，高顺便是这般默然不语。然后曹操缢杀了高顺。高顺的人格也在他“默然不语”中得到了升华。
他没有像张任那样，说出“忠臣不侍二主”流芳万世的言语；没有象陈宫那样，做出激烈的反应，主动慷慨就义；没有像文远这副身体的前一任主人那样，顺应时代的潮流，良禽择木而栖，就那样默默的，以一种无声的态度来表明自己的决定。
这是一种节操，一日为臣，终身为臣！哪怕所事非贤，也绝不变节背主！
文远颇有些不忿道：“高顺，其实你愿意为吕布守节，我就算成全你又如何呢？我就是给吕布兵马，让他统兵，但是军心在我，他又能翻出什么花样呢？我只要能驯服了吕布，你在他麾下，还是在我麾下，不一样还是要听我调令？”
这一点自信文远还是有的，河北军在宣慰佐吏的思想灌输之下，坚决忠诚于文远而非统兵的将领，文远相信，即便给吕布一支兵马，他也别想闹腾出多大动静！
可是高顺偏偏就是一根筋，文远话都说道这个份上了，高顺仍旧不为所动。见仍不能降服高顺，这让文远颇有些受挫的感觉！
高顺既然不降，原计划统领下邳原吕布军的差事就不能交给他去做了，文远连忙修书一封，令张颌迅速将吕布残兵打散编入青州兵建制之中。一旦改编完成就弃下邳北上，下邳这座孤城文远是不打算要了，被曹操刘备大军阻隔着，孤军留守迟早会被攻破的。与其那样倒不如经营琅琊郡，琅琊郡内多山，地势起伏，易守难攻，只需要少量兵马就足以扼住徐州咽喉。
至于下邳城的十余万口百姓，文远当然是不会白白便宜曹操和刘备的，我大军在此你不是不敢出战吗？我就让你们眼睁睁的看着我将这下邳百姓十余万口迁入青州！
建安四年元月末，在经历了一番紧凑的改编之后，张颌很快完成了对吕布军的吸纳收容，下邳十余万百姓也收拾好行装，在三万多青州兵的护送之下扶老携幼、浩浩荡荡一路向北而行。
沿途之上，还有徐晃上万骑兵一路接应，文远也大军迫近曹刘营寨予以严密的监控。如此一来，曹操刘备虽然早已探知下邳方面的动向，却不敢轻举妄动，眼睁睁看着十几万徐州丁口从郯城边上一路向北，被文远迁入青州。
建安四年二月，张颌领兵返回与文远会师一处，文远也不多做停留，早已准备妥当的他立即下令班师回邺城，路过琅琊时，文远留下张颌分兵三万镇守琅琊，令陈登徐州刺史留在琅琊遥治徐州，臧霸因久在泰山琅琊一带盘踞而被任命琅琊太守。
值得一提的是，臧霸、陈宫、宋宪、侯成等多名吕布帐下旧部来到文远军中之后，并没有花费文远多大力气就向文远投诚，由此也可见吕布在其部下的心中已经何等不堪，肯为他尽节的只有高顺一个！这让文远心神稍松，吕布现在身边只剩下孤零零高顺一人，纵然有什么心思，也翻不出多大的浪头！
对于投靠之人，文远自然一一善待，拜陈宫为从事中郎，留在大将军府参议军事，臧霸为裨将军，东安亭侯，跟在张颌身边镇守琅琊、青州。