杨谅出城之后，豆卢毓见机会来临，便准备在晋阳城反正，直接端了杨谅的老巢。
此时晋阳城由身为汉王府主簿的豆卢毓和汉王府府掾属朱涛二人留守。二人虽然是杨谅的亲信，但官职皆不高，本来并不适合担任留守。但之前杨谅数次兵败，对麾下将领也有些不信任，因此才将自己的老巢和家眷托付给亲戚出身的豆卢毓和朱涛二人。
杨谅离开的当夜，豆卢毓便联络了开府仪同三司盘石侯宿勤武、开府仪同三司宇文永昌、仪同三司成端、仪同三司长孙恺、车骑将军安成侯元世雅、原武令皇甫文颢等人，准备向朱涛摊牌。
豆卢毓以商议晋阳城防务为由，派人请朱涛前来自己的府上议事。
朱涛到来之后，豆卢毓便设宴款待朱涛。二人一同饮酒，一同观看歌姬表演。酒过三巡，菜过五味，豆卢毓突然长叹一声，对朱涛说道：“唉，朱兄，你我皆要大祸临头了。”
朱涛大惊，不明所以，乃向豆卢毓询问。
豆卢毓乃说道：“汉王被小人撺掇着造反，已构成了叛逆罪。今朝廷的鲁国公已经率征讨大军压境，汉王怕是很快就会失败。汉王毕竟是天子之弟，未必会被处死，但你我二人，身为汉王的亲信，到时候恐难以幸免。到时候不仅辜负了国家，怕是也要受牵连获灭族之罪？”
朱涛脸色一变，这种事情他不是不知道，但这种话不应该从豆卢毓口中说出。朱涛不知道豆卢毓今日是何用意，只得语气有些冷淡地说道：“恕涛木讷，不知豆卢主簿所言何意？”
豆卢毓乃近前说道：“汉王已经大势已去，再是负隅顽抗，也难以翻身。你我二人，留守晋阳，不若以晋阳秘密向朝廷投降，到时候也能洗清身上的叛逆身份，性命得保，家族以安。”
朱涛听了，立刻怒发冲冠。他一把踢翻了身前的桌案，指着豆卢毓说道：“你也是汉王的亲眷，深受汉王大恩，怎么能说这样的话。汉王把大事托付给我们是信任我们，难道你豆卢毓要做贰臣不成。”
说完朱涛也不管豆卢毓难看的脸色，起身向外离去。
豆卢毓被朱涛骂的脸上一阵紫青，最后才冷冷地说道：“朱涛你可想好了，到时候身死族灭可别怪豆卢毓没提醒你。”
朱涛也不回头，没好气地说道：“朱涛生死，自不用豆卢主簿操心。”
这时候豆卢毓猛地将手中的杯子狠狠地摔在了地上，大声说道：“朱涛，既然你死心到底，冥顽不灵，可别怪我没提醒你。”
忽然院子之中冲出数名手持弩机之人，向着朱涛便扣动了弩机。朱涛大惊失色，来不及说话，便被射成了刺猬，身死当场。
这时黑暗之中一人上前，从朱涛身上摸索出一块令牌和官印，递给过来的豆卢毓，又随手用佩刀砍下了朱涛的脑袋。
杀人者乃是汉王府库直长孙恒布（也作行布）。
“道生（豆卢毓的字），有了朱涛手中这块令牌，便能调动城中守军了。”
豆卢毓不无遗憾地说道：“可惜这朱涛是个死脑筋，不肯为我所用，否则便可兵不血刃的拿下晋阳城了。”
豆卢毓说着从自己身上也取出一块令牌，然后将两块令牌合二为一。之前杨谅为了不使一人独揽晋阳兵权，特意设置此令牌分别交给朱涛和豆卢毓，告诉众人只有两块令牌合二为一之时，才能调动晋阳城内的守军。
豆卢毓折腾这么一大圈，拉拢朱涛，就是为了能掌握晋阳城的兵权。
掌握的晋阳的兵权，豆卢毓又和宿勤武、宇文永昌、长孙恒布等人商议如何反正，这时宇文永昌提议将被杨谅关押的并州总管府司马皇甫诞从监狱里放出来，请他主持大事。
皇甫诞做过兵部、比部、刑部侍郎，俱有能名；后来迁治书侍御史，朝臣无不肃惮；再之后皇甫诞又历任河南道大使、大理少卿、尚书右丞、尚书左丞等职务，是天下名臣。
而且皇甫诞在并州期间，总府政事，一以谘之。在整个并州城内，威望显著，人所仰慕，是最好的领头人。
长孙恒布乃率人将监狱中的皇甫诞救了出来，并与之商议反叛汉王之事。皇甫诞本就不支持杨谅谋反，眼看杨谅将败，虽然吃惊其败的速度，但是立刻便同意了在晋阳城拨乱反正之事。
杨谅南征之时，只在晋阳城呢内留下了数千兵马，宿勤武等人担心一旦杨谅返回，这些兵马并不能守住晋阳。
而且杨谅在并州七年，心腹无数，威望隆重，宛若皇帝。一旦杨谅兵临城下，那些原本随同豆卢毓反叛杨谅的士兵，到时候也会纷纷倒戈。
这时车骑将军安成侯元世雅提议可以用城南的稽胡人。
稽胡是匈奴的别种，又叫山胡、步落稽，源于南匈奴。南北朝时徙于今山西、陕西北部方圆七八百里的山谷间，种落繁盛，他们从事农业生产，辅以蚕桑，以麻布为衣，与汉人杂处。
北魏孝昌元年（525年），汾州（治今山西汾阳市）稽胡首领刘蠡升借北方群起反魏、中原板荡之机，在云阳谷（今山西右玉县东北云阳堡）聚众举兵反魏，自称天子，建年号“神嘉”，置署百官，建立起地方民族政权。535年，稽胡灭于东魏；576年，刘蠡生之孙刘没铎趁着北周灭齐的时机趁机复国，次年又被北周所灭。
稽胡人虽然元气大伤，但之后也在山西、陕西等地苟延残喘，甚至到了唐朝时期，稽胡人还先后在绥州等地反叛称帝，最后被夏州都督王方翼配合右武卫将军程务挺剿灭。至此之后，稽胡人逐渐消失于历史的长河中。
这次杨谅起兵，担心军力不足，便征召了一批稽胡人为用。不过这群稽胡人虽然悍勇，但纪律实在太差。杨谅担心这些稽胡人会祸乱河东各地，因此并没有令其出征，而是屯于晋阳城南的山谷一带。
稽胡人为利益卖命，并不忠于杨谅，若是由稽胡人守城，势必不会出现临阵倒戈的现象。
其他诸人也没有好办法，只得同意了这个建议，引稽胡人入晋阳。