随后的时间，宋哲武安安稳稳地一心在郑州组织部队进行高强度的训练，当然，对于战况他也是高度关注的。
王叙的军事情报局，因为宋哲武的重视，以及有大量资金的支持，自组建以来发展很快，特别是由于王叙本人就是学的无线电通讯专业，因此在情报局里在无线电侦收破译上更是做的非常出色，这也是王叙亲自带人跟宋哲武来郑州的原因。
反蒋联军最先与中央军接火的是第三方面军在河南的部队和孙殿英、万选才、刘春荣等部队。
因为这些部队当时都在河南，晋绥军离河南山东比较近，冯玉祥的第二方面军只有一部分部队在陕西关中平原，其他部队需要从各地集结，包括从甘肃青海等地赶赴战场，所以揭幕战基本上是中央军对小杂牌的战斗。
万选才、刘茂恩等以主力防御，派出部分支队向南搜索，在遭到中央军猛烈反击后，都迅速缩回去死守，孙殿英退守亳州，万选才退守归德。中央军主力随即紧紧跟进开始与守军展开激战。
其中陈调元、马鸿逵在鲁西与刘春荣、石友三激战，刘峙的第二军团部队主力12个师与万选才等部发生激战，顾祝同、陈继承、陈诚等师乘胜进攻，蒋介石于十五日亲赴马牧集督战，并以教导第一师围攻归德。
此时，冯玉祥第二方面军主力正在加速向战场开进，计划5月21日后参加一线作战。
可是让阎锡山、冯玉祥大吃一惊的是，5月20日，对阎锡山任命万选才为河南省主席非常不满的负责防守宁陵地区的的刘镇华的弟弟刘茂恩，在和陈诚联络上后，发动兵变，诱捕了万选才，并向徐永昌指挥的在陇海线上的孙楚、杨效欧、关福安的部队发动突然袭击。
这让晋绥军猝不及防，刘茂恩获得大胜，是役刘茂恩部缴获晋绥军山炮36门，八二迫击炮18门，晋造重机枪36挺，步、手枪三四千支，骡马300余匹。俘晋军官兵五六千名。
晋绥军杨效欧、孙楚部队遭受损失较小，可关福安部损失较大，短期内已经失去了战斗力，宁陵、雎县为中央军所得，同时俘获万选才部师长万殿尊，使反蒋联军防线顿开，阵脚大乱。中央军首先赢得开幕战胜利。
在东线的山东，五月上旬，阎锡山指挥的傅作义等部开始展开进攻。傅作义部由德州向平原、禹城一带搜索推进。当时晋绥军动用兵力6个军。反蒋联军在中线陇海路失利后，东线为策应陇海路，开始大规模进攻。
晋军兵分三路向南进击。中路沿津浦路正面进攻平原、禹城；西路进攻东阿、平阴；东路则向青城推进。
韩复榘令徐桂林的五十九旅防守青城，令万国珍的六十旅防守东阿；他本人与孙桐萱、谷良民率展书堂的八十五旅和荣光兴的八十七旅赴禹城御敌正面。
因韩复榘的部队刚调防山东不久，远途跋涉，疲惫不堪，接战不利后，势渐不支，于是电请蒋介石将十五路军北调增援。蒋介石电复韩，准予撤守黄河南岸，拆毁铁路，以待援军，准备反攻。
6月2日，韩复榘撤守黄河南岸，拆毁津浦路黄河铁桥。而晋军东西两路则分别由青城和东阿渡过黄河，未遇抵抗，即长驱直入。西路直逼泰安，并向济南迂回前进。
西线平汉线，在何成浚就任第三军团总司令之后，先后聚集到他的麾下的部队有13个师约近30万人，就连在南阳的杨虎城也主动率领他的2万多人的警备师强烈要求加入第三军团。
为了配合陇海线和东线的战事，这些杂牌军在何成浚的指挥下，于5月16日在平汉线发动了全面攻击。
西线的中央军虽然都是小杂牌，但是人数颇众。反蒋联军在这方面的队伍，有樊钟秀、石振清、任应岐和刘桂堂等部，包括第二方面军的部队总数也有大约30万，扼守许昌以南的小商桥及其以东的逍遥镇至西华之线。
按计划西北军的田金凯、倪玉声、赵凤林、王和祥等部由陕南开到河南境内，即分布在平汉路以西鲁山，叶县，襄城一带，并置主力于许昌之北，统归张维玺指挥，并派刚刚由中央军“反正”过来的阮应武为前敌总指挥。刘汝明部则在淅川、南召一带监视杨虎城部。宋哲元部的冯治安军控制在郑州及其以南地区，归冯玉祥直接掌握。
反蒋联军在平汉线上最突前的是樊钟秀的第八方面军。樊钟秀虽然起兵于草莽，可是他在练兵带兵和指挥作战方面十分有天赋，民国十三年9月，孙中山进驻韶关，准备北伐。正面以谭延闓为总司令，侧翼以樊为总指挥，孙中山亲授樊钟秀“笃信三民主义，实行建国方略”军旗，委任樊钟秀为建国豫军总司令。
樊钟秀从广东出师后，一路破强敌，渡险关，浴血奋战，兼程前进，在80多天里，战斗50余次，转战五省，跋涉2500余公里，于12月19日抵达豫南。
孙中山当时发电赞叹：“吾兄孤军转战，所向无前，三月之内，由粤而豫，同时诸军，望尘莫及，奇功伟绩，嘉慰何似”。并告之左右：“各军将领若能皆如樊钟秀，何想革命不胜成功？”由此可见，樊钟秀的部队战斗力之强非同一般。
这次反蒋，樊钟秀自己也是自信满满，以他可以和西北军有一拼的部队对付何成浚统率的一帮小杂牌，他还是很自信的。
可是战斗一开始，这帮小杂牌的表现就让他大吃一惊，这帮小杂牌一改往日保存实力的“恶习”，他们的部队像发了疯似的攻击的十分凶猛，一天之内他在临颍外围阵地的几个支撑点就相继失守，这让樊钟秀很是郁闷。
通过审问前线送回来的俘虏，樊钟秀才知道这些小杂牌何以这样卖力的原因。
原来，何成浚就任第三军团总司令后，立刻就受到这些饱受排挤的杂牌将领们的热烈欢迎。何成浚也不负重望，一到河南，就把他的总司令部设在驻马店，何成浚带到驻马店司令部的不仅有大批军火粮草，还有充足的军饷。
何成浚在到达驻马店的第二天，就把各部队拖欠的军饷一次付清，同时宣布，‘今后，只要他何成浚任第三军团总司令一天，他就保证受他指挥的所有部队的待遇都和中央军完全一样，绝不会有一点点差别。’这对这些杂牌军的将领们可是最大的安慰，这话别人说他们还不一定相信，可是何成浚说的他们信。何成浚绝对会说到做到的。
更让他们放心的是，何成浚不仅给他们补清了欠饷，还把下个月的军饷也带来了，那堆得高高的装满大洋的箱子就放在何成浚的司令部里，就连蒋介石特批给何成浚的那50万特别费，也被他一分不拉的都提出来，在司令部的作战室单独摞在一处。有这些大洋在，这些人的心里就更踏实了。
何成浚在他主持的第一次军事会议上告诉众人，他来前，蒋委员长亲口告诉他，只要这些人努力作战，委员长在他们本人的升迁和他们部队的扩编上就会和中央军一视同仁。
见众人反应不是很热烈，何成浚又抛出了他的杀手锏，宣布，凡在作战中这些部队出现的伤亡，一律按中央军的标准抚恤，同时，每战死一人，他就给补充两名员额，增加的编制由他何成浚跟军政部要。也就是说谁的部队作战多，伤亡大，谁的部队也就会越来越大。
同时，第三军团在武胜关设立新兵训练营，训练营由各部队派人联合管理，新兵补充会严格按照他的规定执行，他绝不会有任何私心，也不会偏向任何人。
对于蒋介石给予扩编的承诺这些将领们普遍不感冒，他们当初加入中央军时，蒋介石也这样说过。
不过，何成浚可不是仅仅说说就完了的，设在武胜关的新兵训练营交给他们管理就能说明问题。而最为关键的问题是，不仅战死一人补充两人，何成浚还给他们要编制，这可是相当于事实上的扩军。对于这些杂牌军将领而言，只有他们的部队强大，他们也才会更有分量，也才会少遭白眼。
正是有了这些变故，让这些杂牌军的战斗力猛烈地爆发了，特别是第十军徐源泉和第九军王金钰的部队更是如此。徐源泉部是张宗昌的老部队，王金钰部是孙传芳的老部队，他们的部队战斗力一向不弱，这次更是像打了鸡血似的兴奋，冲锋时动则整营整团的集团进攻，完全是一副不要命的打法。
要不是何成浚亲自赶到前线一再压制，这些人甚至都不会等到大规模的轰炸结束就会命令部队发起冲锋。
由于何成浚指挥的杂牌军焕发出超强的战斗力，不仅很快包围了临颍，大部队也快速向许昌进逼。
这些杂牌军在推进到许昌后，攻击力不但没有减弱，相反，还因为受到先前的胜利的刺激，以及何成浚说到做到的的大洋和兵员的补充，战斗力更加高涨，对许昌发起了一轮又一轮的凶猛的进攻。
由于外围阵地一再被动摇，樊钟秀不得不一次次亲临前线督战。
六月四日，樊钟秀在视察前线阵地后，在回来的路上，遭遇中央军空军轰炸不幸遇难。