后，唯潘氏独尊。而宰相吕好问与潘贤妃有怨、御前班直统制官领皇城司杨沂中与吴夫人娘家亲密，颇为不安，便内外进言以二贵妃并尊。官家受前后夹攻，遂失衡心。
流言既出，监察御史李经上疏弹劾，以干涉天家事，请斩杨沂中。
疏至，官家已临黄河，没之。