杨广一行终于在突厥人的包围圈合拢之前，进入了长城。
虽然始毕可汗亲自率领大军前来围追堵截杨广，但杨广逃跑的速度实在太快了。过了逃命，杨广一行几乎丢掉了全部的物资，就连杨广本人也抛弃了他心爱的六和城。
隋军几乎是马不停蹄，拼命赶路，光是马匹都不知道跑死了多少。至于沿途掉队的宫女、内侍，甚至是官吏、眷属，更是不知道有多少。
不过杨广的好运也就到此为止了。
杨广一行刚进入恒安镇，突厥的军队也尾随而至。一日三惊的杨广匆匆留下雁门郡太守吕玉镇守恒安镇，阻挡追兵，便继续向南。
沿途杨广又先后在白狼塞（今山西省朔州市山阴县东北）、桑干镇（今山西省山阴县南）、楼烦关（今今山西省宁武县东北阳方口）等地留兵驻守，只为了迟滞突厥人进兵的速度。
不过并没有如杨广所愿。
吕玉虽然是个骁将，但手上并没有太多的兵力。
而且始毕可汗早就有心攻打恒安镇，遂在恒安镇预设了大批的内应。等到突厥人大举攻击，城中的内应便在城中制造混乱，同时攻击守城的隋军。
在内忧外患之下，很快城门告破。突厥人大举入关，吕玉不得已率军突围。
全军且战且退，突厥人穷追不舍，等到吕玉撤退到云内县（今山西省大同市）西南，为突厥军追上。吕玉力战而死，全军覆没。
始毕可汗乃以大将阿史那思摩为先锋，继续向南进击。杨广逃回雁门郡有些出了始毕可汗的预料，接下来容不得他们再出错。
阿史那思摩令突厥士兵换成隋军的俘虏，并和投降的隋军俘虏混在一起，假装恒安镇的溃兵，向白狼塞涌去。
白狼塞守军没有防备，只以为是掉队的隋军，遂打开城门，迎溃兵进城。
这些突厥人入城后暴起发难，占据城门，白狼塞遂下。
阿史那思摩主力继续向南，在桑干镇北遇到了朔州总管王仁恭统帅的朔州军。王仁恭也是个名将，能征善战，在一征高句丽时立得大功。但自黄明远北伐突厥之后，北疆之地，兵备废弛，兵员流失，原本的北地重镇朔州现在只有一万五千余人。
双方猝然相遇，隋军实力不足，王仁恭不敌，遂率部退回马邑郡治善阳县（今山西省朔州市），而桑干镇则被阿史那思摩趁势所取。
至此突厥人的前锋主力一路追着杨广銮驾打，打穿了整个代州、朔州的防线。
等到杨广一众撤入雁门郡治雁门城（今山西省代县），阿史那思摩也率军从小道绕过隋军在西径关一线的正面防御，出现在夏屋山（又名夏壶山、贾屋山、贾母山，在今山西省代县东北草垛山）的背后。
六月十二日，阿史那思摩在杨广逃入雁门城的第二日率军包围雁门城，杨广和整个大隋朝廷落入到突厥人的重重包围之中。
而于此同时，皇太孙杨佶率领后军进入崞县（今山西省原平市崞阳镇）。
面对突厥人的包围，隋军上下惊惧恐怖。宇文述此时为武将之首，负责指挥诸军。他下令拆毁民房，用作守卫城池的材料，导致突厥人还未发起攻击，人心已乱。
而且最重要的问题是，整个雁门城突然涌入大批的人畜，使得本就不大的城池变得异常狭窄，各种储备物资也不足。此时整个雁门城中有军、民十五万人，粮食仅够供应二十天。
从在长城之外发现突厥人，杨广准备率军返回，他便第一时间想到了黄明远，并派人五百里加急赶往辽东，征调黄明远前来代北救驾。但从代北到辽东，一来一回四千里地，根本是远水解不了近渴。
杨广进关之前，也只是通知朔州总管王仁恭和代州总管范安贵二人接应，却并未来得及往太原派遣援兵。
此时王仁恭兵败返回善阳，而范安贵则和杨广一同被围困在雁门城中。整个大隋朝廷失去了与外界的联系。
突厥人来的很快，始毕可汗听闻阿史那思摩将大隋天子杨广包围在雁门城，立刻驱兵数万赶来。他又联络同罗部，让同罗斜也从雁门东北面方向进击，双方一左一右，在雁门城下会师。
此时北地武备废弛的坏处体现出来了，整个总管府不过是一万多人，各城不过是几十到几百人，因此整个马邑、雁门二郡四十多处关卡、城池，尽为胡人所破。只有雁门、崞县、善阳等几处要地控制在隋军手中。
六月十五日，始毕可汗终于从北面赶来，率领主力部队到达城下。十多万军队将整个雁门城围的水泄不通。站在城头往外瞭望，尽是人山人海。
从十二日到十五日，整整三日的时间，阿史那思摩手中不过只有万余骑兵，实力并不强。而在这三日，隋军为阿史那思摩伪装的大股主力所惊吓住，不敢轻易突围，最终丧失了绝佳的突围时机。
等到突厥主力赶到，将雁门围的严丝合缝，城中的隋军根本没有一丁点突围的机会了。
始毕可汗到达城外，望着城头上惊慌失措的隋军。十多年了，他终于将隋军踩着脚下，这种感觉，别提多舒服。
杨广虽然被包围，但城中尚有数万军队。始毕可汗担心夜长梦多，便下令军队当日便进行攻城。
突厥骑兵没有足够的攻城武器，但是他们却有攻城的妙法。
大队的突厥骑兵冲杀到城门前，然后向城头抛射羽箭。胡虏擅长骑射，大批的箭矢射入城中，整个城头箭如雨下。
杨广本来带着侍卫来到城头，希望可以鼓舞士气。
不过他虽然也曾领兵南灭陈国，北破突厥，但都是名义上的主帅，并不需要他操太多心。而且这几年杨广沉浸于酒色之中，当初的英雄气概早就被酒色掏去了。
杨广带着人靠近城墙，而城下弓矢密不透风。
此时突厥人的羽箭射到杨广的面前，吓了杨广一跳。若非亲卫护住杨广，杨广几乎要被射死。
自此之后，杨广再不敢登上城头。
面对这困守孤城的局面，杨广脆弱的心理防线几乎崩溃，他只得抱着小儿子赵王杨杲哭泣，眼睛都哭肿了。