“你敢走？来人啊，捆起来做逃兵论处。”耿聚忠跳着脚喊道，他也气急了。
“礼郡王息怒，我看白总兵也是一时气急。如今大家都不冷静，我看还是等平了气息再说吧，属下告退。”王世瑜连忙对着耿聚忠拱手作礼，拉着白显忠就离开了。
王世瑜也是总兵，耿聚忠总不能把两个总兵都得罪了，否则他连领兵的人都没有了。看到两人离开，他只好气呼呼得一拍桌子：“全都反了，居然骂到老子头上来了，全都是混蛋。给我上酒上菜，我还要喝。”卫兵们不该怠慢，只好去给他重新置办酒菜。
王世瑜将白显忠拉出来说道：“白兄，你太冲动了，怎可对礼郡王如此无礼？”
“这是我不知尊卑吗？他无故羞辱于我，生生要败光靖南王府的家底。”白显忠气呼呼得将事情经过说了一遍，最后才说道：“王兄你来说，照这样下去我们岂不是彻底完蛋了？”
“唉。”王世瑜也长叹了一声：“靖南王府总归是他耿家的，耿家人要败光祖产，我们也无能为力。可叹老王爷当年何等威名，没想到他的子弟如此不堪。所谓君视臣如草芥，臣视君如仇寇。投降了清军不可怕，但两位王爷都失去了斗志，这就是一败涂地了，看来我们也该早做打算。”
“王兄，你也认为应该离开？可是该去哪里？”白显忠问道。
“你以为如何？”王世瑜没有回答而是反问了一句。
白显忠挠挠头道：“鞑子是个什么德行，你我都看得清清楚楚，何况王爷还在祁门，咱们是万万不能投奔的。尚之信那边也不行，打了这么久，尚军损失惨重，这个仇也做下了，去了就是找死。刘磊那边也不行，我们的人在仙霞关没少打，大家也是有仇的，我看只有投奔平西王了。”
“平西王？”王世瑜摇了摇头：“平西王虽然势力够大，但我看形势很不对劲。其占据长江一线就再无寸进，连西北的王辅臣也顾不上了，实在是因为吴军已经是强弩之末，根本没有多少战斗力了。我看吴三桂的势力已经顶了天，再也壮大不起来了，去了岂不是陪葬？”
“你认为该去投奔哪里？”白显忠问道。
王世瑜摸了摸下巴道：“我看福建是个好去处，我听说这个刘磊神通广大，他不但将福建经营得十分兴旺，还能派兵打到京师去，吓得康熙都不敢出城，将来一定大有可为啊。”
“刘磊的复国军仅有一省之地，平西王有五省之地，你说平西王不如刘磊？”白显忠摇头道：“我是不信的。”
“凡事都要将眼光放长远，复国军地盘虽小却蒸蒸日上，平西王地盘是大，却已经没有发展的余地。”王世瑜说道。
“算了吧，什么发展，什么蒸蒸日上，我还是认为平西王最合适。”白显忠说道。
王世瑜摇了摇头：“既然如此，你我兄弟就只能分道扬镳了。”
“希望你我兄弟再见之时，还能称兄道弟。”白显忠与王世瑜两人拱拱手分开了，在耿聚忠还在喝酒的时候，手下两员大将却已经各奔东西了。王世瑜平日里在军中威望很高，跟着他走的除了本部兵马之外，还有愿意跟随的其他士兵共计五千余人。
王世瑜知道复国军已经进入饶州府地界，便直接向东奔向乐平，打算从那里渡过乐安江转道向南去万年。白显忠也拉走了三千余人，另外还劫走了大批战船。他带着人直接乘上战船进入鄱阳湖，准备到南康府去。吴三桂已经与尚之信签订了出兵条款，并占据了九江府，正在向南康府进发，白显忠到那里正好可以投靠。
两位大将出走，让耿军人心惶惶，士兵们再也没有了奋战之心，那些没跟着走的也有许多开了小差，等到第二日黎明的时候，耿军大营里居然只剩下了不足万人。
听说两位总兵出走，还带走了大量士兵，气得耿聚忠跳着脚破口大骂，然而这样也无济于事。手下仅有万人的耿聚忠，连个得力的大将也没有了，还如何进攻饶州府，就算他想拼命，也要有人肯去啊，无奈之下他只好下令全军撤往童子渡，打算依托西河防守，同时向清军求援。然而耿聚忠缺乏指挥军队的经验，没有做任何疑兵的掩饰，大张旗鼓得准备撤退，结果很快被城头的瞭望哨发觉了。
如今的饶州府的守城士兵虽然经历了一个多月的大幅削减，却刚得到李成功的补充，仍剩下了两万多人。当守将张善继听说耿军出现大量逃兵，同时打算撤退的时候，他的心思就活了。
坚守一月有余，张善继对耿军早已恨之入骨，现在有了痛打落水狗的机会，他又怎么会放过。在得知耿军开始收拾营寨之后，他立刻下令全城守军集合，除留下一千人守城之外，其余人都做好了出击准备。
新手小白的耿聚忠毫无掩饰，大大方方的下令撤退，全军拔营以行军队形向北前进。结果他们前脚刚刚出发，饶州府城后脚就打开了城门。张善继为了抢得大功，率领城中两万多精锐倾巢而出，直扑向了耿聚忠的后路。
耿军本就兵无战心，耿聚忠又发布了撤退命令，造成士兵们更加松懈了。当发觉后面有追兵的时候，耿聚忠再次做出了错误决定，他没有派出精锐力量殿后阻止对方的追击，而是下令加快脚步撤退，希望能避开对方。然而耿聚忠的谋算大错特错了，当耿家加快速度撤退的时候，实际上已经崩溃了，张善继率军赶到，立刻展开了攻势。
尚军气势如虹，抓住了痛打落水狗的机会如何肯放松，耿军确是无心恋战，遭受了来自背后的勐烈打击，顿时从撤退转变为崩溃。耿军大败亏输，士卒纷纷逃散，这时候耿聚忠再想回身对抗都来不及了，他被败兵裹挟着不由自主得向前逃去。
张善继骑在马上，带着他的一哨亲兵杀得最勇，很快就突入了耿军的逃跑人群之中。耿聚忠正伏在马上拼命逃跑，立刻就被张善继发现了。周围没几个骑马的人，再加上那身紫色郡王袍，耿聚忠实在太显眼，所以张善继很容易就找到了目标。