杨慎矜本来一直依附于李林甫，但是从最开始，杨慎矜就是逼不得已，李林甫的权势太盛，他才被逼无奈，成为李林甫的走狗。
但是当朝廷中，韦坚，李适之政治集团被消灭，东宫李亨支持折皇甫惟明、王忠嗣被扫清的时候，杨慎矜已然失去了当日的价值，而且杨慎矜三兄弟掌控着朝廷的财政大权，最有可能威胁到李林甫的宰相之位，飞鸟已尽，良弓无用，李林甫开始将矛头对准杨慎矜。
李林甫一直以来信奉的原则就是要保持既有的权位，就要毫不怜悯地打击一切竞争对手，没有适可而止，绝不能有妇人之仁，王忠嗣一除，李林甫就开始盘算如何对付杨慎矜。
原本杨慎矜如果对李林甫死心塌地或许还有一线生机，可惜矛盾起于韦坚之案，杨慎矜尽管是第一弹劾人，但在具体审讯中，却显出游移的态度，这种态度，让王珙产生了愤恨，愤恨他首鼠两端；让李林甫产生了遗憾，遗憾他企图保持中立，脱离自己的轨道。
杨慎矜与王珙的父亲是表兄弟，从而是王珙的表叔，打小两人关系不错。他为了拉拢王珙，推荐王珙进了御史台，做了御史大夫，成为地位相等的同僚。然而他不知人随着地位变化要起心理变化，以为自己是表叔，依然直呼王珙的名讳，弄得表侄很是挂不住脸。
李林甫看出杨、王之间的矛盾，用进一步抬高王珙的手法，来冷落杨慎矜，让他们产生分化，这一招果然有效，王珙照着李林甫做后台，有恃无恐，对表叔的态度变得不大恭敬起来。杨慎矜不知内中缘由，为了教训王珙，剥夺了他的职田，并且经常诋毁王珙的母亲出身低微。他一边继续交恶王珙，一边仍然认为是自家人，竟然愚蠢地把违禁的攵书给王珙看。王珙嘴上应付，暗中却拿住了这一对杨慎矜的致命把柄。
或许是杨慎矜真的是时运不济，父亲墓园的草木出现了红水，红水象征着血水，使杨慎矜感觉到大难即将降临，急忙命人唤来交游密切的还俗僧史明忠，询问应该怎样躲避这个灾祸。
史明忠在杨慎矜的后花园用道术作法，让他每日退朝之后，自己带着桎梏在树林中裸坐，十日之后，红水果然消失了，杨慎矜对史明忠的道术更加深信不疑，将史明忠供养在自家府中，但是李隆基对这一类道术是有明令禁止的，尤其是官员，坚决不能接触这类道法，这都源于过去太平公主秘闻。
杨慎矜为李林甫陷害了很多大臣，时间长了，做了亏心事，总觉得心神不宁，而且现在朝廷中再也没有人能撼动李林甫的地位，杀的杀，贬的贬，杨慎矜位高权重，总是预感到将有大祸临头，日子久了，抑郁成疾。
这时他想到了史明忠，就将此事告知史明忠，并且询问史明忠安身立命之计。
史明忠就在房间内作法，做法成功之后，史明忠高深莫测地说道：“天下即将大乱，杨大人可以辞官归家，在临茹置田百亩，可以避过灾难，保存性命，否则将会有大劫。”
然而话刚说完，就听的屋外一镇玉碎之声。
杨慎矜大惊，发现是婢女明珠惊慌失措地站在门外，茶杯摔碎在地上。
杨慎矜让人见那个明珠绑起来，就要杖杀她，但是被史明忠制止了，史明忠说道：“勿杀，卖了可换十头牛，一年能耕十倾田，上天有好生之德，大人既然不在意，不如就送给贫僧吧。
其实杨慎矜如此狠心要杀明珠，实在是因为担心明珠听到了不该听到的，不过史明忠求情，他也不好拒绝，再者，杨慎矜发现史明忠屡屡把眼睛盯向明珠，不便明说，就顺水推舟将明珠送给史明忠。
当晚，史明忠携美返家，途中经过杨玉环的姐姐柳杨氏的宅前，韩国夫人邀请史明忠到房内说话，正好看到了史明忠车内的明珠，觉得明珠长得漂亮，就请求史明忠将明珠卖给她，史明忠心里叫苦，这个明珠若是一般的美人还好，只不过她既然听到了自己对杨慎矜说的秘密，实在是不能卖给别人，一旦事情败露，可是要杀头的。
史明忠含蓄地拒绝了，却不料韩国夫人浪荡地笑着说道：“莫不是高僧动了道心？”
一言击中史明忠的软肋，他就是看到明珠长相不错，才懂了色心，不忍就这样白白被杖杀。最后韩国夫人强硬地给了史明忠留下一笔钱，将明珠扣下来。
韩国夫人坚决要买明珠，并不是给自己用，而是为了讨好皇帝，她知道皇帝喜欢女色，虽然有杨玉环陪伴，仍然命高力士组织了一个讨花使，专门为皇上在民间寻找年轻貌美的秀女。
第二日，明珠被韩国夫人带进宫，李隆基见到绝色，而且明珠伶牙俐齿，就把明珠留在宫中侍寝，欢娱过后，李隆基问明珠的身世，同时知道了她出自杨慎矜的府中。
李隆基玩笑地问道：“杨慎矜缺钱吗，怎么忍心将这样的美婢卖掉？”
听到这话，明珠忽然哭的梨花带雨，将杨慎矜请史明忠作妖法，并且史明忠预言天下将乱的事情添油加醋地泄露给皇上。
李隆基得知之后，心中虽然对杨慎矜作妖法之事非常痛恶，但是却含怒未发，毕竟杨慎矜是自己非常重新的财政大臣，每年都给皇宫省下大笔财物。
不过慢慢地，李隆基对杨慎矜也渐渐疏远起来。
李林甫在宫中打点的非常周到，信息非常灵通，知道了这件事情，就让人将此事透露给王珙。王珙知道了这个消息，开始把原先压抑的愤恨写在脸上，开始恣意侮辱杨慎矜，杨慎矜不知个中情由，依然摆着表叔的架子，严斥了表侄。
表叔既然不屈服，王珙觉得自己已尽了最后的情分，遂和李林甫密商，构造杨慎矜的罪状。
旋即，御案上多了一张这样的飞碟：
“杨慎矜是隋炀帝的玄孙，家藏攵书，和奸人往来，阴谋恢复祖业。”
李隆基看到这个奏牒，龙颜大怒，命人将杨慎矜收入尚书府，下诏命令刑部尚书萧炅、大理寺李道芹、殿中侍卢铉以及杨国忠共同审查，并且命令大理寺将杨慎矜的两个弟弟太府少监杨慎余、洛阳令杨慎名全部押入大牢考讯。