卢杞把颜真卿害死之后,又将李怀光送上了谋反之路。李怀光是渤海靺鞨人,本姓茹,他的先祖迁徙到幽州,李怀光很小的时候就从军了,因在唐军里作战有功而被赐姓李。唐德宗李适登基后,李怀光升任为邠宁、朔方节度使。他奉命抵御吐蕃,颇有成效,吐蕃不敢再南侵了。后来,朱泚和朱滔兄弟造反,李适逃去奉天,朱泚率兵追击。这时,李怀光前往救援,打败了朱泚。救下李适后,李怀光觉得自己功劳很大,口无遮拦地说:“卢杞当宰相,既没有谋略也没有才华,横征暴敛,克扣军饷,要是我李怀光入朝,皇上一定会征求我的意见,那时我一定要建议皇上好好惩治卢杞这个大奸臣!”卢杞听说后,计上心来,他对李适说:“李怀光立下了大功,是朝廷的栋梁之材,如果皇上命令李怀光乘胜追击,一定可以攻取长安。”李适一听觉得很有道理,就叫李怀光不必入朝觐见了,立刻率兵攻向长安。
李怀光得知后就像被一盆凉水浇了一样,心里失望万分。李怀光一肚子火,干脆公开上表讨伐卢杞和他的同党。卢杞最终惹火烧身,被皇帝贬出了京城,死在了被贬地澧州。