失勢之後，皇甫德儀和劉才人也被一併打入冷宮，最後也在冷宮中被折磨而死。太子李瑛和李瑤、李琚同病相憐，對於各自母親之死都是心中懷恨，時常聚在一起痛哭流涕。武惠妃手下的探子打探到太子和二王時常偷偷聚會，便將此事告知了武惠妃。武惠妃做了虧心事，雖然臉皮厚似城牆，聽到太子和二王暗地裡交往，卻也極為忌憚，是以聽到這個訊息之後，她為了斬草除根，免除後患，這才要將鄂、光二王也一併除掉。
“武惠妃定下了坑害太子及二王之計，便和她的女婿楊洄多次在李隆基面前控訴太子李瑛及及鄂王李瑤、光王李琚圖謀不詭。後來武惠妃更是在李隆基面前危言聳聽，說什麼‘太子陰結黨羽，不只要害死臣妾母子，還要弒君，最後他自己做皇帝’。初時李隆基並不相信太子和二王膽敢如此行事，只是除了武惠妃和楊洄之外，李林甫和朝廷中的許多大臣也紛紛上書，指摘太子和二王有謀反之意。李隆基見宮裡宮外都說太子等人要謀反，竟然信以為真，勃然大怒，召集宰相及六部尚書等重臣會議，打算廢黜太子李瑛。其時宰相張九齡力諫李隆基不可如此操切，聲稱‘陛下踐祚垂三十年，太子諸王不離深宮，日受聖訓，天下之人皆慶陛下享國久長，子孫蕃昌。今三子皆已成人，不聞大過，陛下奈何一旦以無根之語，喜怒之際，盡廢之乎！且太子為天下根本，不可輕動。昔晉獻公聽驪姬之讒殺申生，三世大亂；漢武帝信江充之誣罪戾太子，京城流血。晉惠帝用賈后之譖廢愍懷太子，中原塗炭。隋文帝納獨孤後之言黜太子勇，立煬帝，遂失天下。由此觀之，不可不慎。陛下必欲為此，臣不敢奉詔。’”