李林甫早年曾任千牛直长。他精通音律，深受舅父姜皎的宠爱，开元年间改任太子中允。侍中源乾曜与姜皎乃是姻亲，其子源洁为李林甫求取司门郎中之职。源乾曜笑道：“郎官应有才干声望，哥奴（李林甫小名）也能当郎官？”李林甫因此只被授为太子谕德，后累迁至国子司业。
开元十四年（726年），李林甫得到宇文融的引荐，被授为御史中丞，后历任刑部侍郎、吏部侍郎。他生性阴柔，精于权谋，与宫中宦官、妃嫔交情深厚，对玄宗的举动了如指掌，每逢奏对都能符合玄宗的意旨，深得赏识。当时，武惠妃宠冠后宫。唐玄宗非常宠爱她的儿子寿王李瑁，对太子李瑛则有所疏远。李林甫通过宦官干谒武惠妃，表示愿意尽力保护寿王。武惠妃非常感激，暗中对他进行帮助。
开元二十一年（733年），侍中裴光庭病逝。裴光庭的妻子是武三思的女儿，曾与李林甫有私情，而宦官高力士也出身于武三思府中。裴光庭死后，武氏向高力士提出请求，希望他能推荐李林甫接任宰相，高力士却未敢答应。唐玄宗因中书令萧嵩的举荐，任命尚书右丞韩休为侍中。高力士将这个消息泄露给武氏，让李林甫提前告诉韩休。韩休拜相后，与萧嵩不和，却对李林甫非常感激，便推荐李林甫，认为他有宰相之才。武惠妃也暗中相助，李林甫因此被授为黄门侍郎。
开元二十三年（735年），李林甫被拜为礼部尚书、同中书门下三品，加银青光禄大夫，与侍中裴耀卿、中书令张九龄一同担任宰相，后又历任户部尚书、兵部尚书。当时，太子李瑛、鄂王李瑶、光王李琚皆因母亲失宠而有怨言，被驸马都尉杨洄告知武惠妃，惠妃又向玄宗哭诉。玄宗大怒，与宰相商议，欲废黜三子。张九龄极力劝阻，表示不敢奉诏执行。李林甫当面一言不发，退朝后却私下对宦官道：“此乃天子家事，何必与外人商议。”
开元二十四年（736年），唐玄宗欲为朔方节度使牛仙客加实封，并让他兼领尚书。张九龄认为牛仙客学识不高，极力劝阻，引起玄宗不悦。李林甫私下言道：“只要有才识，何必满腹经纶。天子用人，有何不可。”唐玄宗后以结党为由罢去张九龄、裴耀卿的宰相之职，任命李林甫、牛仙客为宰相。李林甫被授为中书令、集贤殿大学士、修国史。后来，监察御史周子谅奏称牛仙客非宰相之才，被玄宗杖杀。李林甫又趁机进言，称周子谅是张九龄所引荐。张九龄又贬荆州长史。
开元二十五年（737年），唐玄宗听信李林甫之言，将太子李瑛、鄂王李瑶、光王李琚同时废为庶人，并将李瑛的妻兄驸马都尉薛锈流放瀼州。不久，唐玄宗又将三庶人赐死，时人无不称冤。同年七月，大理少卿徐峤奏称：“大理寺监狱杀气过盛，鸟雀都不敢栖息。如今刑部判定的死刑案件，一年仅有五十八例，而且有乌鹊在狱上筑巢。”群臣都上表拜贺，纷纷称赞这是社会治安良好的缘故。唐玄宗认为是宰相的功劳，便封李林甫为晋国公。
开元二十六年（738年），李林甫兼领陇右、河西节度使。当时，武惠妃已经病逝，东宫储位空悬。李林甫数次劝说唐玄宗，想让他立寿王李瑁为太子，而玄宗却属意于忠王李玙。他认为李玙年长，而且仁孝恭谨，勤奋好学，高力士也表示支持。同年六月，李玙被立为皇太子，后改名为李亨。次年（739年），李林甫又兼吏部尚书，与兵部尚书牛仙客一同主持文武铨选。
天宝元年（742年），唐玄宗更改官制官名。李林甫改为右相兼尚书左仆射，加光禄大夫，但却被免去兼任的节度使之职。天宝六年（747年），李林甫又加开府仪同三司，获赐实封三百户。唐玄宗对他非常宠信，宫中每有御膳珍馐、远方珍味，便命宦官到他府中赏赐，以致道路相望。 [11] 当时，李林甫将性格柔弱的陈希烈引荐为宰相。他在家中处理政务，百官都集聚到府前等候召见。而陈希烈虽坐镇政事堂，却无人谒见，也从不敢参预意见，只是在公文上署名而已。
李林甫因自己在李亨立太子一事中并无功劳，担心日后会有祸患，便有兴大狱动摇东宫的想法。他将目标对准李亨的妻兄韦坚，将韦坚引居要职，却又命御史中丞杨慎矜暗中窥伺其过错。陇右节度使皇甫惟明入朝献捷，见李林甫专权，曾建议唐玄宗罢免其相位，引起李林甫的嫉恨。天宝五年（746年）正月十五，李亨出宫游玩，巧遇韦坚，而韦坚则密会皇甫惟明。杨慎矜向玄宗揭发，称韦坚身为内戚，不应结交边将。李林甫便趁机诬奏，称韦坚勾结皇甫惟明，欲拥立太子为帝。唐玄宗大怒，将韦坚、皇甫惟明贬官，并命李亨休弃太子妃韦氏。宰相李适之忧惧请辞，被罢为太子少保。
同年十一月，李林甫再次发起一场针对太子李亨的冤案。当时，太子杜良娣的父亲杜有邻与女婿柳勣不和。柳勣诬告杜有邻“妄称图谶，交构东宫，指斥乘舆”，李林甫命京兆士曹王鉷与杨国忠一同审讯。最终，杜有邻、柳勣都被杖毙，杜良娣也被废为庶人。在这次事件中，很多地方官员也受到波及。北海太守李邕、淄川太守裴敦复被杖毙，韦坚、皇甫惟明被赐死。监察御史罗希奭巡察地方，大肆杀戮贬谪官员，自青州一路杀到岭南。前宰相李适之已贬宜春太守，惊惧之下服毒自尽，其子李适则被李林甫命人杖杀于河南府。先天政变的功臣王琚贬任江华司马，服毒未死，继而自缢身亡。
王忠嗣自幼在被养于宫中，与太子李亨交情深厚，后担任四镇节度使，掌控河西、陇右、河东、朔方，威震边疆。李林甫担心他会入朝拜相，威胁到自己的地位，对他非常忌惮。天宝六年（747年），将军董延光进攻石堡城失利，奏称王忠嗣沮挠军计，唐玄宗不悦。李林甫趁机指使济阳别驾魏林诬告王忠嗣，称其欲拥兵尊奉太子。唐玄宗虽表示不信，但仍夺去王忠嗣兵权，将他召回朝廷，贬为汉阳太守。李林甫虽屡兴大狱，欲离间玄宗与太子的关系，但李亨仁孝谨慎，又有张垍、高力士的保护，他的奸谋最终也未能得逞。
李林甫又对权位日盛的杨慎矜起了猜忌之心。他引荐王鉷为御史中丞，将其视为心腹。王鉷素受杨慎矜轻鄙，对他怀恨在心，便在李林甫的挑拨下制造流言，称杨慎矜是隋炀帝玄孙，勾结术士，密藏谶书，图谋恢复隋朝。唐玄宗大怒，将杨慎矜下狱，命三司会审。李林甫还栽赃陷害，命殿中侍御史卢铉袖藏谶书，称是在杨慎矜家中搜出。最终，杨慎矜被族灭。天宝八年（749年），咸宁太守赵奉章揭发李林甫罪状二十余条。结果罪状尚未呈上，李林甫便以知晓，命御史台将其逮捕，以妖言之罪杖毙。
天宝十年（751年），李林甫兼领安西大都护、朔方节度使、单于副大都护。天宝十一年（752年），李林甫鉴于开元年间张嘉贞、王晙、张说等文臣以边将入相的先例，欲杜绝出将入相的根源，以巩固自己的相权。他请求辞去兼任的朔方节度使之职，举荐安思顺继任，并奏道：“文臣为将，怯于战阵，不如用寒族、蕃人。蕃人骁勇善战，而寒族在朝中没有党援。”唐玄宗采纳了他的建议。李林甫重用蕃将，使得高仙芝、哥舒翰等少数民族将领成为独当一面的大将，但也让安禄山得以长期控制河北，为日后安史之乱的爆发埋下了隐患。
起初，李林甫认为杨国忠才学浅薄，不会威胁到自己的地位，况且他又是杨贵妃的族兄，因而对他善加礼遇。杨国忠与王鉷同为御史中丞，李林甫却举荐王鉷为御史大夫，杨国忠怀恨在心。天宝十一年（752年），王鉷之弟王焊与刑縡图谋作乱，欲杀死李林甫、陈希烈、杨国忠，却遭到镇压。唐玄宗命杨国忠与陈希烈一同审讯。杨国忠奏称王鉷也曾参与密谋，并借此案牵引李林甫，称他暗中勾结王鉷。陈希烈则从旁作证。最终，王鉷被赐死。李林甫虽未获罪，也逐渐被唐玄宗疏远。
同年十月，南诏寇边，剑南告急。当时，杨国忠兼任剑南节度使。李林甫便奏请玄宗，建议让杨国忠到剑南赴任，想借机把他调离朝廷。杨国忠哭着对玄宗道：“臣一旦离朝，必为李林甫所害。”唐玄宗安慰道：“你暂且先到剑南处理军务，朕很快就会召你回来，让你当宰相。”李林甫得知，愤愦发病。不久，李林甫随唐玄宗前往华清宫，结果病情加剧。巫师道：“只要您能见一下皇帝，病情就会好转。”唐玄宗本欲前去探视，却被侍臣谏止，便让人将李林甫抬到庭院中，自己则登上降圣阁，举起红巾招手慰问。李林甫已病重不能起身，只能让家人代拜谢恩。
杨国忠刚到剑南，便被唐玄宗派宦官召回朝中，并到华清宫谒见李林甫，拜于床下。此时，李林甫已无力再对付杨国忠。他流着泪对杨国忠道：“我很快就要死了，你一定会继任宰相，我的后事就托付给你了。”杨国忠对李林甫仍非常忌惮，汗流满面，连称不敢。同年十一月二十四日（753年1月3日），李林甫病逝，由诸子护灵返回长安，发丧于平康坊府邸。唐玄宗追赠他为太尉、扬州大都督，并赐班剑武士、西园秘器。不久，杨国忠拜相。
天宝十二年（753年），杨国忠与安禄山合谋，诬告李林甫与叛将阿布思约为父子，同谋造反。安禄山还派阿布思部落的降将入朝作证。唐玄宗命有司审理。李林甫的女婿杨齐宣担心自己受到牵连，便附和杨国忠，出面证实。当时，李林甫尚未下葬，被削去官爵，抄没家产。诸子被除名流放岭南、黔中，亲党中则有五十余人被贬。唐玄宗还命人劈开李林甫的棺木，挖出口内含珠，剥下金紫朝服，改用小棺以庶人之礼安葬。
《全唐诗》收录其诗作三首：《送贺监归四明应制》、《奉和圣制次琼岳应制》、《秋夜望月忆韩席等诸侍郎因以投赠》。
《全唐文》收录其文章四篇：《嵩阳观纪圣德感应颂》、《进御刊定礼记月令表》、《贺克吐蕃安戎城请宣示百寮表》、《请宣示御制仁孝诗奏》。
张九龄：宰相系国安危，陛下相林甫，臣恐异日为庙社之忧。
崔群：玄宗用姚崇、宋璟、卢怀慎、苏颋、韩休、张九龄则理，用宇文融、李林甫、杨国忠则乱。故用人得失，所系非轻。人皆以天宝十四年安禄山反为乱之始，臣独以为开元二十四年罢张九龄相，专任李林甫，此理乱之所分也。
刘昫：① 林甫京城邸第，田园水硙，利尽上腴。城东有薛王别墅，林亭幽邃，甲于都邑，特以赐之，及女乐二部，天下珍玩，前后赐与，不可胜纪。宰相用事之盛，开元已来，未有其比。然每事过慎，条理众务，增修纲纪，中外迁除，皆有恒度。而耽宠固权，己自封植，朝望稍著，必阴计中伤之。② 林甫面柔而有狡计，能伺侯人主意，故骤历清列，为时委任。而中官妃家，皆厚结托，伺上动静，皆预知之，故出言进奏，动必称旨。而猜忌阴中人，不见于词色，朝廷受主恩顾，不由其门，则构成其罪；与之善者，虽厮养下士，尽至荣宠。③ 林甫恃其早达，舆马被服，颇极鲜华。自无学术，仅能秉笔，有才名于时者尤忌之。④林甫性沉密，城府深阻，未尝以爱憎见于容色。自处台衡，动循格令，衣寇士子，非常调无仕进之门。所以秉钧二十年，朝野侧目，惮其威权。及国忠诬构，天下以为冤。⑤李林甫以谄佞进身，位极台辅，不惧盈满，蔽主聪明，生既唯务陷人，死亦为人所陷，得非彼苍假手，以示祸淫者乎！杨国忠禀性奸回，才薄行秽，领四十余使，恣弄威权，天子莫见其非，群臣由之杜口，致禄山叛逆，銮辂播迁，枭首覆宗，莫救艰步。以玄宗之睿哲，而惑于二人者，盖巧言令色，先意承旨，财利诱之，迷而不悟也。开元任姚崇、宋璟而治，幸林甫、国忠而乱，与夫齐桓任管仲、隰朋，幸竖刁、易牙，亦何异哉！
宋祁：① 林甫善刺上意，时帝春秋高，听断稍怠，厌绳检，重接对大臣，及得林甫，任之不疑。林甫善养君欲，自是帝深居燕适，沈蛊衽席，主德衰矣。林甫每奏请，必先饷遗左右，审伺微旨，以固恩信，至饔夫御婢皆所款厚，故天子动静必具得之。性阴密，忍诛杀，不见喜怒。面柔令，初若可亲，既崖阱深阻，卒不可得也。公卿不由其门而进，必被罪徙；附离者，虽小人且为引重。同时相若九龄、李适之皆遭逐；至杨慎矜、张瑄、卢幼临、柳升等缘坐数百人，并相继诛。以王鉷、吉温、罗希奭为爪牙，数兴大狱，衣冠为累息。② 林甫无学术，发言陋鄙，闻者窃笑。善苑咸、郭慎微，使主书记。然练文法，其用人非谄附者一以格令持之，故小小纲目不甚乱，而人惮其威权。③ 于时有以材誉闻者，林甫护前，皆能得于天子抑远之，故在位恩宠莫比。凡御府所贡远方珍鲜，使者传赐相望。帝食有所甘美，必赐之。车马衣服侈靡，尤好声伎。 ④ 木将坏，虫实生之；国将亡，妖实产之。故三宰啸凶牝夺辰，林甫将蕃黄屋奔，鬼质败谋兴元蹙，崔、柳倒持李宗覆。呜呼，有国家者，可不戒哉！
司马光：① 牛仙客既为林甫所引进，专给唯诺而已。然二人皆谨守格式，百官迁除，各有常度，虽奇才异行，不免终老常调；其以巧谄邪险自进者，则超腾不次，自有它蹊矣。林甫城府深密，人莫窥其际。好以甘言啖人，而阴中伤之，不露辞色。凡为上所厚者，始则亲结之，及位势稍逼，辄以计去之。虽老奸巨猾，无能逃其术者。② 李林甫为相，凡才望功业出己右及为上所厚、势位将逼己者，必百计去之；尤忌文学之士，或阳与之善，啖以甘言而阴陷之。世谓李林甫“口有蜜，腹有剑”。③ 诸道节度使尽用胡人，精兵咸戍北边，天下之势偏重，卒使禄山倾覆天下，皆出于林甫专宠固位之谋也。④ 林甫媚事左右，迎合上意，以固其宠；杜绝言路，掩蔽聪明，以成其奸；妒贤疾能，排抑胜己，以保其位；屡起大狱，诛逐贵臣，以张其势。自皇太子以下，畏之侧足。凡在相位十九年，养成天下之乱，而上不之寤也。
刘挚：古者任大臣，必用有德，不用有才。有德进，则行忠厚之政，以安天下；有才进，则为残刻之政，以祸天下。则德之与才，治乱之所系也。有德者廉静而重谨，故人难识之，有才者矜强而敏捷，故人多悦之；此历代人主所以多惑于忠邪之际也。杨国忠、李林甫、卢杞辈，其才皆过人，然终为唐室之乱，不可不察也。
庄季裕：李林甫居位十九年，卒荡覆天下。林甫之术，盖祖于崇也。以唐、虞、伊、周之美，而贼乱之人犹假以为恶，况资权谲者乎！
韩昉：唐自太宗以来，惟明皇、宪宗可数。明皇所谓有始而无终者。初以艰危得位，用姚崇、宋璟，惟正是行，故能成开元之治。末年怠于万机，委政李林甫，奸谀是用，以致天宝之乱。苟能慎终如始，则贞观之风不难追矣。
许衡：奸邪之人，其心险，其术巧。惟险，故千态万状而人莫能知，惟巧，故千蹊万径而人莫能御。其谄似恭，其讦似直，其欺似可信，其佞似可近。势在近习，则结近习，势在宫闱，则媚宫闱。或以甘言诱人于过，而后发之，以示其无党，务窥人君之喜怒而凶合之，窃其势以立己之威，结其爱以济己之欲，爱隆于上，威擅于下，大臣不敢议，近亲不敢言，毒被天下，而上莫之知。所谓城社鼠而求去之，固已难矣。然此犹人社之不知者也。至若宇文士及之佞，太宗灼见其情而不能斥，李林甫妒贤嫉能，明皇洞见其奸而不能退。邪之惑人，有如此者，可不畏哉！
张珪：国之安危，在乎论相。昔唐玄宗，前用姚崇、宋璟则治，后用李林甫、杨国忠，几致亡国。虽赖郭子仪诸将效忠竭力，克复旧物，然自是藩镇纵横，纪纲亦不复振。良由李林甫妒害忠良，布置邪党，奸惑蒙蔽，保禄养祸所致也。
陆以：商太甲之始即位也，不明于德，赖一伊尹而卒能中兴；唐明皇之始即位也，励精求治，相一李林甫而终致祸乱。
王夫之：① 李林甫之谮杀太子瑛及二王，为寿王地也。武惠妃薨，寿王宠渐衰，而林甫欲树私恩、怙权势，志终不移，谋之愈很，持之愈坚，凡可以荧惑主听、曲成邪计者，尤剧于惠妃未死之前，以其为己死生祸福之枢机也，可以得当者，无所不用。然而玄宗终以忠王年长好学，闻高力士乘闲片言，储位遂定，林甫莫能置一喙焉。繇此观之，奸邪自诩得君，劫廷臣以惧己，其夸诞无实之伎俩，概可知矣。 ② 谋国而贻天下之大患，斯为天下之罪人，而有差等焉。祸在一时之天下，则一时之罪人，卢杞是也；祸及一代，则一代之罪人，李林甫是也。 ③ 奸人得君久，持其权而以倾天下者，抑必有故。才足以代君，而贻君以宴逸；巧足以逢君，而济君之妄图；下足以弹压百僚，而莫之敢侮；上足以胁持人主，而终不敢轻。李林甫、卢杞、秦桧皆是也。进用之始，即有以耸动其君，而视为社稷之臣；既用之，则信向而尊礼之；权势已归，君虽疑而不能动摇之以使退。故高宗置刀韡中以防秦桧，而推崇之益隆；卢杞贬，而德宗念之不衰；李林甫非杨国忠之怀忮以相反，玄宗终莫之轻也。而其时盈廷之士，无敢昌言其恶，微词讥讽而祸不旋踵矣。
汤鹏：① 李林甫相唐十九年，秦桧相宋亦十九年，则皆辱其宗社矣，孰与摄相三月，外寒强邻之胆，而内蒸男信女顺之化耶？② 李林甫借仗马以塞谏争，王安石结御史以知杂事，此号召天下群誉圣者以自多其党也。 [63] ③ 遇事无巨细皆力争之者，张九龄；而柔佞多狡、伺候动静者，李林甫也。然而玄宗于九龄不谓之是，于林甫不谓之非。 [64] ④ 唐唯不诛李林甫，是以禄山之乱，唐室几倾；宋唯不诛秦桧，是以金人之横，宋业不振。
蔡东藩：① 天宝以后，玄宗之昏瞀甚矣，以子妇而册为贵妃，名分何在？以贼臣而拜为首相，刑赏必乖。天下无不妒之妇人，况如淫悍之杨玉环乎？天下更无不奸之国贼，况如阴狡之李林甫乎？玉环进，则五杨俱贵，赌博无行之杨国忠，亦庆弹冠。林甫专，则群小同升，残虐好杀之吉温罗希奭，亦得逞志。女子小人，有一于此，且致乱亡，兼而有之，尚能不乱且亡耶？ ② 自林甫在相位十九年，固宠市权，妒贤忌能，诛逐贵臣，杜绝言路，口似蜜，腹似剑，玄宗反倚为股肱，自己深居禁中，耽恋声色，政事俱委诸林甫，所有从前姚宋以后诸将相，从没有这般专宠。但姚崇尚通，宋璟尚法，张嘉贞尚吏，张说尚文，李元纮杜暹尚俭，韩休张九龄尚直，各有所长，均堪节取。到了林甫专国，尚刻尚诈，尚私尚威，养成天下大乱。
崔瑞德：此人历来受到责难，被视为“口蜜腹剑”的小人和促成李唐由盛而衰的罪魁祸首之一。本书虽不否认李林甫善搞政治权术，但说他是务实的政治家、精明的行政官员和制度专家。唐玄宗统治时期许多重大而有价值的改革，都是在李林甫和张九龄当宰相时进行的。李林甫时彻底修改了整个税制和地方费用规定，使财政制度更切合地方实际，这确是一大成就。他修订的全部法典，至14世纪初仍保持其权威性。李林甫的改革使朝廷行使权力比以往更顺利、更有效率。李林甫执政时的政府对外连续取得了辉煌胜利。在姚崇、宋璟和张说任宰相时，首辅宰相是在积极参与政务的皇帝手下工作，而在李林甫漫长任期内，唐玄宗已不再起积极作用，故李林甫对朝廷的支配，远比姚崇等人全面，杨国忠根本不能与他相比。
