章懿之崩，李淑护葬，晏殊撰志文，只言生女一人，早卒无子。仁宗恨之，及亲政，内出志文，以示宰相曰：“先后诞育朕躬，殊为侍从，安得不知？乃言生一公主，又不育，此何意也？”
吕文靖曰：“殊固有罪，然宫省事秘，臣备位宰相，是时虽略知之而不得其详，殊之不审，理容有之。然方章献临御，若明言先后实生圣躬，事得安否？”
上默然良久，命出殊守金陵。明日，以为远，改守南郡。如许公保全大臣，真宰相也，其有后宜哉！及殊作相，八王疾革，上亲往问。王曰：“叔久不见官家，不知今谁作相？”
上曰：“晏殊也。”
王曰：“此人名在图谶，胡为用之？”
上归阅图谶，得成败之语，并记志文事，欲重黜之。宋祁为学士，当草白麻，争之。乃降二官知潁州，词曰：“广营产以殖赀，多役兵而规利。”以它罪罪之。殊免深谴，祁之力也。