在隋军各路平叛大军进展顺利的同时，黄明远的主力已经逼近汉王杨谅的腹心地带，准备进行最后的决战。
黄明远在占领蒲坂城之后，修整一日。九月九日，黄明远将蒲坂城交给从郑县到达的崔弘升，令其坚守蒲州，自率主力骑、步兵四万五千人向北而去。
而另一路隋军偏师史祥也从风陵渡方向强渡黄河，击破留在此地的数千汉王叛军，占据黄河渡口。史祥乃受命沿着首山、百梯山（今中条山脉）一路向东北而行，先后占领了盐池（今运城盐池）和安邑县、夏县，扫清了蒲州的南部叛军。
黄明远数万主力，一路浩浩荡荡，往北而去。其主力还未出蒲州境内，从蒲坂城到晋阳八百余隋里，沿途的叛军已经是风声鹤唳，草木皆兵，尽皆望风而逃。
十一日，隋军下闻喜城。
十二日傍晚，隋军主力兵临晋州城下，晋州刺史裴文安命人紧闭城门，坚守不出，准备负隅顽抗。
晋州的守兵不足，并不足以出击，但若是选择攻城也要数日消耗。黄明远担心汉王叛军会堵塞雀鼠谷，因此乃命史祥率领两千人围住晋州，并总管晋州、绛州、吕州三州诸军事，又命段文操、杨万项二人各率两千人围住绛州、吕州，勿使三州在大军身后作乱。
黄明远准备绕过这些据不投降的城池，直接奔晋阳而去。
军中大将崔彭、独孤览等人皆是大吃一惊。独孤览直接进言道：“汉王经营河东多时，虽为叛逆，但河东之地，附逆者无数。今总管以数万之兵战汉王叛军十余万人之兵，本就是艰难重重。今总管令大军绕开城池，孤军深入，一旦稍有小挫，必会危及全军，倒时恐进退无路。”
其他人也纷纷进言，主要是言汉王虽兵败蒲州，但根基未损，手下还有十余万精锐军队，并非不堪一击。黄明远此举，实乃非生即死之策，太过凶险。
黄明襄也建议黄明远稳扎稳打，一路边破敌边进军，同时等待巴蜀、关西、关中等地的府兵。
众人的建议虽然稳妥，全军一路平推，步步为营，可为大军争取充足的时间，但同时也给了汉王充足了的时间做准备，黄明远并不想在晋阳打一场耗时数月的攻坚战。
陈远也认为此时黄明远可以选择突击直入，汉王杨谅必无所防备。
黄明远乃对众人说道：“今汉王新败，军心不稳，内乱不止，正是士气最为低落之时。我军长驱直入，直捣汉王腹心之地，汉王必无所备，仓促应战，我军必可大胜。若此时顿兵于晋州城下，虽稳固了后方，但也给了汉王整顿军心，调兵遣将的机会。到时候双方沿途恶战，怕是从晋州到并州数百里之地，皆是一片焦土啊。”
黄明远跟众人解释之后，便命众人拔营北上。他本来没有跟众人解释的义务，只是怕众人因为反对而乱了军心。
众人也不敢拒绝，第二日一早，立刻拔营北上。
黄明远的平叛大军一路栉风沐雨，并不停歇，于十五日上午，隋军主力进入雀鼠谷。
雀鼠谷为从介休到霍邑之间一段数十里的间道险隘。寓意为其崎岖陡仄，唯有雀、鼠之类才能飞越翻过，是自晋州经灵石、介休向太原进军的必经之路。
黄明远乃将主力部队驻扎于灵石县东南的高壁岭，等待汉王大军的到来。
众人对于黄明远突然停止前进，更是大惑不解，直言大军要抢在汉王叛军之前出了雀鼠谷，否则被汉王叛军堵在谷中，怕是进退两难。今日为何总管反其道而行之？
甚至连陈远也是疑惑。
黄明远乃对陈远说道：“汉王所部十余万，尽是精锐，若是坚守介州，我军兵少，如何能胜。今我军顿兵于雀鼠谷之中，汉王叛军所来，势必要堵塞各处道路，将兵力分散。而且谷中道路狭窄，不便大军布阵，汉王叛军兵力再多，势必只能布置长阵，难以集中力量应战。到时我军一部军队在此与汉王叛军相持，一部绕到汉王叛军身后，必能将其全歼。”
雀鼠谷利于兵少而不利于兵多，最好的布置是两三万人在此依托地形布防，可挡数十万大军。但一旦兵多，实际上在第一线的还是那些人，其余的都成了累赘。
陈远听后赞叹道：“主公神算，远不及也。”
黄明远在鼠雀谷屯兵之后，远在晋阳的汉王杨谅也得到了消息。杨谅心中如五雷轰顶一般，惶惶不可终日。
这时王頍劝杨谅派遣大军，堵塞雀鼠谷，以抵御隋军，至于雀鼠谷以南的州县，只得是自求多福。而且杨谅等人也不知道黄明远是绕过绛州、晋州直奔晋阳城而来，只以为黄明远兵贵神速，神威无敌，数日之间，以及攻破了沿途绛州、晋州诸州县。
杨谅听从了王頍的建议，乃以老将上大将军赵子开担任晋州行军总管，率领八万余人直奔雀鼠谷而来。
雀鼠谷天险，一旦重兵防之，隋军除非飞跃过来。
此时顿兵于鼠雀谷中的隋军听说汉王叛军已经向雀鼠谷进发，纷纷向黄明远进言，请求赶在对方到达之前出谷布阵，皆被黄明远拒绝。
赵子开乃军中老将，出身天水赵氏，曾跟随韦孝宽讨伐尉迟迥之乱，后担任过蔚州刺史、代州总管、行军总管等职。赵子开虽然不是名将，但为人谨慎，行军打仗皆布置周全，虽无大胜，但亦无大败，
杨谅正是看重赵子开的稳妥，这才命其领兵抵御黄明远。杨谅叛军，屡遭败绩，他已经有些不敢再主动出击了。
赵子开得令之后，一路紧赶慢赶，终于来到雀鼠谷。不过听到谷中隋军已至，正屯营驻扎，乃心中大惊。赵子开也听闻黄明远的名头，只是与黄明远从无交集。他并不怀疑黄明远的能力，因此不敢应战，而是派兵占领了雀鼠谷周围所有的道路，栅栏堵塞山径小路，而将主营驻扎在高壁岭，全军摆开阵势，前后列五十里的战阵，企图借助崇山峻岭，以重重兵力，彻底防死黄明远所部。