张九龄在相位，有謇谔匪躬之诚。玄宗既在位年深，稍怠庶政，每见帝，无不极言得失。李林甫时方同列，闻帝意，阴欲中之。时欲加朔方节度使牛仙客实封，九龄因称其不可，甚不叶帝旨。他日，林甫请见，屡陈九龄颇怀诽谤。于时方秋，帝命高力士持白羽扇以赐，将寄意焉。
九龄惶恐，因作赋以献，又为《归燕诗》以贻林甫。其诗曰：“海燕何微眇，乘春亦蹇来。岂知泥滓贱，只见玉堂开。绣户时双入，华轩日几回。无心与物竞，鹰隼莫相猜。”
林甫览之，知其必退，恚怒稍解。九龄洎裴耀卿罢免之日，自中书至月华门，将就班列，二人鞠躬卑逊，林甫处其中，抑扬自得，观者窃谓“一雕挟两兔”。俄而诏张、裴为左右仆射，罢知政事。林甫视其诏，大怒曰：“犹为左右丞相邪？”二人趋就本班，林甫目送之。公卿以下视之，不觉股栗。