李林甫为唐高祖的堂弟长平王叔良的曾孙，因其善音律，初为负责宫廷宿卫、仪仗的低级官吏，后靠着一套谄媚逢迎的本领，爬上了宰相的高位。
当了宰相后，他在与人接触中总装出一副平易近人的样子，使人以为他是一位忠臣。
实际上，他的肚子里却藏着毒剑，随时可能暗中伤人。正如司马光在《资治通鉴》中的描写：“李林甫为相，凡才望功业出己右，及威望所厚，势位将逼己者，必百计去之。尤忌文学之士。或阳与之善，啖以甘言，而阴谄之。世谓李林甫口有蜜、腹有剑。”当时与李林甫同任宰相的张九龄，才能卓著，为官清正。
李林甫嫉妒张九龄的才德，总想设计铲除他。玄宗的武惠妃爱倾后宫，所生寿王、盛王特别受宠爱，而太子瑛被疏远了。
李林甫遂在玄宗面前诬告太子等有怨言，并结党营私，图谋不轨。玄宗大怒，欲废掉太子，与张九龄商量。
张九龄认为，太子为国本，生长在宫中，受陛下的亲教，并没有过失，皇上不能因自己的喜怒而废掉他。
玄宗听后，大为不悦。李林甫当时在场一言未发，后来却在玄宗宠爱的宦官面前说：“皇家之事，何须与别人商量。”言外之意，指张九龄伸手太长，多管闲事。
这些话不久就传到玄宗的耳中，玄宗也觉得张九龄太专断，李林甫又趁机在玄宗面前说了一大堆张九龄的坏话。
公元736年，玄宗欲晋升朔方节度使牛仙客。张九龄上奏说：“边将训练兵马，储蓄军实，这是分内的工作，陛下奖赏他是应该的，而欲赐以食邑，那就不合适了。”玄宗听罢无言，李林甫当时也未发言，回来却把此话告诉了牛仙客。
第二天，牛仙客见玄宗，流泪放弃官爵。玄宗仍想加封牛仙客，张九龄据理力争。
玄宗非常生气地说：“任何事情总是由你决定吗？”张九龄讲，这是自己的分内事，而且牛仙客本是小吏出身，目不识丁而擢升为宰相，是不合适的，李林甫后来暗中向玄宗进言说：“天子用人，有何不可？张九龄不过是一个文官，拘泥古义，不识大体，成不了大器。”玄宗因此更加不高兴。
张九龄与中书侍郎严挺关系密切，严挺的前妻离婚后又嫁蔚州刺吏王元琰。
恰好王元琰被指控有罪，玄宗命严挺等究查，严挺免了王元琰之罪。玄宗认为严挺与王元琰有私情，张九龄认为严、王二人无私情。
玄宗把以前的事与此事联系起来，认为张九龄结党，最后罢免
…。。