到了午时，黄明远便自然地在宫中留饭。黄明远被杨广留饭也不是第一次了，二人之间的感情超过了君臣，如父如子一般，黄明远也不像杨昭、杨暕那样惧怕杨广，因此杨广反而爱留饭黄明远。
二人吃饭，多是黄明远吃而杨广看。
黄明远如往常一般用饭，该吃便吃，该喝便喝，并不忸怩。而且黄明远多在杨广身前，知晓杨广的喜恶，倒也不会失礼。
上首的杨广不时的让人给黄明远添菜，黄明远倒是来者不惧。正吃着饭，快到尾声，一旁的杨广擦擦嘴，放下毛巾，忽然随意地问道：“明远，你以为现在的总管制度如何？”
此时正吃着饭的黄明远差一点呛出来，强忍着吃惊压下这口咳嗽，黄明远又忙端起杯子压下这阵惊慌意。
黄明远早就感觉到杨广想废除总管制，但没想到会这么早。不过此次杨谅造反是个契机，若不是杨谅担任并州总管，职兼文武，大权独揽，也不可能有实力发动这般规模的造反。而与之相比，整个大隋实际上是有四个超级总管的。
这时候提起总管可不是后来那些太监头子或者是仆人头子，总管实际上是汉末三国的都督诸州军事改叫的，初始于北周，兴盛于大隋。总管，顾名思义，全面管理。这时候的总管加使持节，管理辖区军政民政。所辖区域增减无常，一般辖数州，多者可达数十州。因为总管管辖的州府数量不同，共分为上、中、下三个等级的总管府，其中上总管视从二品，中总管视正三品，下总管视从三品。除了并州、扬州、益州、荆州四大上总管府，其余数十个总管府的地位差不多相当于一卫大将军或将军。
这些总管府遍布全国，大隋号称三十六总管，虽然实际上因为废止，在相同时间同时存在的并没有那么多，但也可看出其数量之盛。而这些总管职兼文武，上马管军，下马抚民，几乎算是唐朝军阀的翻版，与节度使有着一拼。实际上若不是北周和大隋中央控制权力极强，且王朝寿命并不长，早就出现军阀割据的想象。
黄明远在丰州为什么权力这么大，甚至是想做什么便做什么，除了因为是边州，民风比中原州郡开放，外部压力大，掣肘少。另一个原因便是总管有持节杀人的大权，既是地方官吏，又是钦差，有着不向朝廷报告便可以诛杀下属官吏的权利，除了天子，无所畏惧。
这些总管的存在严重影响了中央政府的集权。
黄明远明白，杨广这是在试探自己这种总管制既得利益者的态度。凡担任总管者，除了少部分皇亲国戚和文官忠臣，超过九成的还是黄明远这样的武将。同时关陇世家也是借着上层的总管府和中下层的骠骑府、车骑府，这才将触手铺展到全国各地。
黄明远此时立刻便明白，杨广询问自己不仅仅是要自己对总管制度的看法，还有自己的态度。而对于现在的黄明远来说，天子的态度就是自己的态度。若是废除了总管制度，虽然会影响到自己在丰州的一些布置，但废除了这些总管才能确保以后不会出现军阀割据的现象，后来唐朝的统一也才会阻力那么小。
黄明远立刻跪在地上，长揖于地，对杨广说道：“即使圣人不询问明远对于总管制度的态度，明远也是想向天子进言的。总管制度对于现在的大隋，实际上已经弊大于利，到了不得不废除的地步。”
杨广一愣，没想到黄明远直接提到了废除。
不过杨广仍是上前扶起黄明远，又笑着说道：“明远不必如此拘束，这只是你与朕的探讨而已。”
黄明远便说道：“总管制度，实际上是东汉以来，群雄割据，列国兼并，中央政府为了保持对边疆地区的控制，不得不设置的一种制度。在战时阶段，可以有效地发挥属地的全部资源，便于对敌作战；战后又能集中力量稳定当地局势，安抚百姓，此制度对于大隋初建之时，发挥了巨大的作用。
但凡事有利必有弊，总管权势的巨大，也威胁到中央政府的权威。当初北周之时，相州总管尉迟迥联合青州总管尉迟勤、郧州总管司马消难、益州总管王谦等人举兵叛乱，整个天下震恐，其声势之大，几乎覆亡了长安。而实际上若不是幽州总管于翼、徐州总管源雄、毫州总管贺若谊、利州总管豆卢勣这四人忠于朝廷，当时胜负尤未可知。而这一次汉王叛乱，一人作乱而河北尽反，此皆为总管制度的大害。
总管统帅诸州兵马，掌兵权；兼任刺史，掌民权；征辟官僚，署理财权，可谓是一地之主也。而朝廷将一地的从叛不做约束，完全寄托于臣子的忠心之上，这难道不是一件很可怕的事情吗？”
黄明远越说越激动，仿佛与此制度不共戴天。当然黄明远也不过是表明一个自己的态度而已，所言不过是尽可能的夸大、矫饰而已，并没有直接深入到总管制度的根本问题。
倒也不是黄明远不想就这个问题展开细述，而是杨广想废除此制度，黄明远说什么都没有用。实际上历史上杨广于大业元年二月刚平定晋阳，而晋州、绛州要到同年七月份才平定，这种局面下杨广仍旧是力排众议，于大业元年三月便废除了总管制度。
果然杨广听了不住地点头，黄明远算是说到了杨广的心里。其实这件制度主要还是触碰到关陇贵族的利益，只要大多数文官不反对，而作为军中领袖的黄明远也带头支持，杨广便有决心废除总管制度。
在黄明远看来，废便废了，但要有补救措施，使得总管制度被废除之后，地方上不至于生乱。若是杨广如历史上那般废完之后便完了，岂不是胡乱作为。
此时的杨广眉开眼笑，笑着说道：“明远之见，老诚谋国，与朕不谋而合。真该让那些老臣们看看，什么是为国为民？什么是担当大事？如此真知灼见，他们羞不羞煞。”