隋军既收降南阳郡，严孝武便命令徐世勣领一部攻打旁边的淅阳郡。
淅阳郡地处秦岭余脉，伏牛山南，地理位置极其重要。向西北经武关通关中，向西沿汉水可入关中，向东南经汉水入襄阳，向东经南阳盆地入河南。最重要的是他离着洛阳城只有不到五百里, 跟潼关到洛阳的距离差不多。
唐军占据此地，相当于对山南地区（唐朝的山南道，晋魏之时指商洛、南阳一带，到了北周扩展到今陕豫二省南部、湖北与重庆大部及川东地区，为地域观念和政治格局而来，非简单的地理概念）伸出一把刀子, 可四面出击。
实际上李唐对于山南之地的经略很早便开始。
当初李渊还没入关中，便派遣李孝恭、陈演寿、马元规等人南下山南，后来又任命李元吉为襄州道行台尚书令稷州刺史, 总揽山南之事，并佐以任瑰、李思行、薛献、薛倩等人。
李渊给李元吉的兵马、人才俱不少，可惜李元吉真不是那块料。
再说李元吉年纪又小，又几乎是半卖半送丢了河东，实在不能服众，即使李渊用高位强把他推上去，也不可能使得人心畏服。
所以李元吉在山南大半年，并没有多大战果。
直到李渊丢失关中，李元吉尚没有攻破吕子臧占领的南阳郡城。
此时叁家势力在南阳郡内，相互攻伐，势力参差交错。
李渊南入巴蜀，乃抽调了不少山南的军队维持自己的实力。此时在山南地区，负责经略南阳盆地的只剩下山南宣抚使马元规和其部七千余人。
若论马元规手中地盘，着实不小，除了淅阳郡，还有南阳的冠军（治今河南省邓州市西北）、顺阳（治今河南省邓州市西）二县以及襄阳郡的阴城（治今湖北省老河口市西北）县。
然而马元规控制着十余县, 却只有七千人, 手中兵力着实捉襟见肘。
对于隋军来说, 并不想和唐军开战，现在不是时机。以隋军现在的力量，等将河南地区消化完了，自可以力压之，轻巧取胜，根本不用在此赌输赢。
但淅阳郡却是又必须打，否则南阳郡，甚至是河南都安稳不了。
鹰扬南下襄阳，未来更是会决战荆襄。要是唐军顺汉水东进，截断荆襄隋军的退路，后果不堪设想。
此战对隋军来说利在速战，李元吉在西城郡有重兵，一旦相持起来，必引兵来援，这仗就难打了。
徐世勣领一军西进，跟马元规的兵力差不多。但他这七千兵却是如拳头一般握紧的七千兵，非马元规分散各县的七千人马可比。
于是徐世勣引兵急进，连破数县, 从侧面包围南乡（今河南省淅川县西南）城。
马元规不敌，只得选择退守城中。
徐世勣眼看唐军坚守, 便不断地派出骑兵搦战唐军。马元规虽然主守，但又屡屡抵不住隋军，连败两阵，伤亡不少。
面对这种局势，吃了大亏的马元规再不敢动。
于是双方在南乡城下成了隋军最担心的相持局面。
南乡城并不是一座坚城，所以不少部下劝徐世勣日夜攻城，赶在唐军援军到来前破城，但这却为徐世勣拒绝。
在徐世勣看来，唐军善于守城，但却不善野战。而我军的优势在于骑兵，而骑兵在攻城作战中却难以发挥作用。日夜攻城，舍骑兵而不用，乃是以短击长。
于是徐世勣决定按兵不动，待唐军士气衰退再伺机出击。
这一选择，完全出乎所有人的意料。
果然没过多久，李元吉得到了马元规的求救信，便遣薛献率领五千人马从金州东进，支援马元规。
对于李元吉来说，淅阳郡是他就任襄州道行台尚书令之后唯一的一处收获，乃是遮百丑的地方，是不能丢的。不过李元吉兵力不多，也只能腾出五千人。
薛献东来之后，并没有直接进入南乡城，而是计划率军在丹水（今湖北省丹江）渡河，绕道至隋军的身后，和城中的马元规合围隋军。
在薛献看来，隋军势大，只有干净利落地击败这支隋军，才能有效地将其震慑，淅阳郡才会安稳。
不过此举很快为隋军的斥候发现。
有将领建议徐世勣分兵劫击薛献，将其留在丹水北岸。
但徐世勣却言道：“我军和唐军仅一水之隔，唐军绕道至我军身后，我军若是回身击之，则马元规必击我军身后。若是置之不理，则归路断绝，必败无疑。所以我军当退守新城县（今河南省邓州市西北），引诱唐军离开营垒，采用‘敌出我归，敌归我出’的战术，再用轻骑抢掠唐军的粮草军需，逼迫其与我军决战，如此不出一个月，必能击破梁军。”
于是徐世勣便向后且战撤退，往新城县方向而去。
薛献本做好了合围隋军的计划，大幕拉开了，谁料隋军逃了，戏没法唱了，只得进入南乡城中，和马元规汇合。
而此时隋军骑兵不断地在南乡城四面出击，劫掠隋军粮草，马元规每每派兵出击，皆没能击破隋军这些游击。
双方相持十几日，整个南乡城与外面四面完全断绝。
马元规没有办法，便决定和隋军决战。毕竟其部远多于隋军，倒不如将其击破，反而是省了危机。
薛献不同意，认为太过冒险，但扭不住马元规。
于是唐军近万人马一路追击，在新城县南面遇到了隋军，便列阵以待决战。
眼看唐军追来，众将大喜，准备决战，徐世勣却言道：“唐军轻装远来决战，即使携带干粮，也难以在战斗中进食，不到傍晚便会人饥马乏，士气衰落。我们再趁势攻击，必获全胜。”
隋军遂按兵不动。两军对阵到傍晚时分，唐军饥饿难耐，皆有退意。
徐世勣见时机已到，立即下令发起勐攻。各部也乘势从东西两面夹击，疾声呼应。唐军惊扰，阵势大乱，叁军溃散。
隋军奋力勐追，唐军大败，精锐全部被歼，马元规被生俘，而薛献等人率数十骑逃回金州。
隋军乘胜向东，遂全取淅阳郡。