李泌祖籍辽东郡襄平县（今辽宁辽阳），出身山东著姓赵郡李氏定著六房之一的辽东房，是南北朝时期北周太师李弼之六世孙、唐朝吴房县令李承休之子。赵郡李氏优良的门风，严谨的家学，为李泌的成长奠定了良好基础。
李泌七岁能文，幼时就已粗通黄老、列庄学说，有神童的美誉。开元十六年（728年），李泌因机遇巧合，受到了唐玄宗的召见。他入宫时，玄宗让正与自己下棋的燕国公张说试试李泌的能力。张说请李泌以“方圆动静”为题作赋，李泌思考片刻，问：“希望知道其中的大略。”张悦便说：“方就像棋局，圆就像棋子，动就像活棋，静就像死棋。”李泌立即回答：“方就像行义，圆就像用智，动就像施展才能，静就像感到满意。”张说听后，祝贺玄宗得到了一位神童。玄宗也非常高兴，赐李泌束帛，命李家对他善加抚养。
宰相张九龄特别喜爱李泌，常常把他请到卧室内交谈。张九龄与大臣严挺之、萧诚交好，严挺之厌恶萧诚的谄媚，劝张九龄谢绝与萧诚的来往。张九龄忽然自己念叨说：“严挺之太刻板刚直，而萧诚软美可喜。”正要命令左右的人唤来萧诚，在他身旁的李泌马上说道：“您以布衣入仕，又因正直位至宰相，却喜欢软美的人吗？”张九龄听后，非常惊讶，急忙改容认错，并称他为“小友”。
李泌成年后，非常博学，擅长研究《易经》。他经常游历嵩山、华山、终南山之间，仰慕神仙不死之术。
天宝十载（751年），隐居嵩山的李泌向玄宗献上《复明堂九鼎议》，玄宗想起李泌的“早惠”，于是召他入朝讲授《老子》。因其讲解“有法”，玄宗命他待诏翰林，供奉东宫，太子李亨待李泌极为优厚。李泌曾经写诗讥诮宠臣杨国忠、安禄山等，杨国忠于是诬称他曾写《感遇诗》讽刺朝政，结果李泌被送往蕲春郡（今湖北蕲春）安置。此事之后，李泌脱离了官府，“乃潜遁名山，以习隐自适”。
安史之乱爆发后，玄宗仓皇出走，李亨在灵武（今宁夏灵武）即位，是为唐肃宗。肃宗即位后，派人四处寻找李泌，恰好李泌也到了灵武。肃宗立刻和他商讨当前的局面，他便分析当时天下大势和成败的关键所在。肃宗很高兴，要给他授任官职，李泌自称山人，坚决推辞，希望以宾客的身份随从。肃宗也只好授李泌银青光禄大夫的散官，碰到疑难的问题，常常和他商量，称其为先生而不称名。
此时，李泌已少吃烟火食。肃宗有一天夜里，高兴起来，找来兄弟三王和李泌就地炉吃火锅，因李泌不吃荤，便亲自烧两颗梨请他食用。三王争取要梨，肃宗也不肯给他们。
李泌入朝议论国事，从制书文诰到将相升迁，无所不预，史称其“权逾宰相”。李泌外出时，也陪同肃宗车驾，众人指着他说“穿黄衣的是圣上，穿白衣的是山人隐士”。肃宗听说此事，便赐李泌金紫，任命他为天下兵马大元帅、广平王李俶（后来的唐代宗李豫）的行军司马。肃宗曾对他说：“你曾经侍从过上皇（玄宗），中间又作过我的老师，如今下任广平王行军司马，朕父子都借助了你的道义。”军中商议立元帅，人们都注目于建宁王李倓，李泌暗中对肃宗说：“建宁王的确聪明，但广平王是嫡长子，有为人君的气量，难道想要使他做吴太伯吗？”肃宗说：“广平王已被立为太子，何必需要做元帅呢？”李泌说：“假使元帅立功，陛下不使他做君位的继承人，能行吗？太子随从时是抚军，驻守时是监国，如今元帅就是抚军。”肃宗最终听从了他的建议。
肃宗在做太子时，宰相李林甫多次以进谗陷害他，肃宗积怨已久。到即位以后，打算将李林甫的遗骸挖出焚烧。李泌认为身为天子却念及旧恨，不能以宽广的胸怀显示于天下，会使那些投靠叛军的人失去改过自新的想法。肃宗大为不悦，说：“你忘了往事吗？”李泌回答说：“臣考虑的不在于这些。上皇统治天下五十年，一朝失意（指玄宗逃亡四川），南方气候恶劣，而且他已年迈，听到陛下记恨旧怨，将会内心惭愧不乐。万一上皇伤感得病，就是陛下以天下之广大，还不能够安抚亲人啊。”话未说完，肃宗便感悟，下阶抱着李泌的脖子痛哭道：“朕没想到这些。”
肃宗询问李泌剿灭叛军的战略，他就当时的情势，定出一套围剿的计划。首先，李泌断定安禄山、史思明等人是一群没有宗旨的乌合之众，目的只在抢劫，“天下大计，非所知也。不出二年，无寇矣。陛下无欲速，夫王者之师，当务万全，图久安，使无后害。”因此，他拟定战略，让朔方大将李光弼守太原，出井陉；郭子仪取冯诩，入河东，隔断盗魁四将，不敢南移一步。又密令郭子仪开放华阴一角，让叛军能通关中，使他们北守范阳、西救长安，奔命数千里，劳损其精兵。而唐军常以逸待劳，剪除其弱卒。再将各路兵马齐聚扶风，与朔方军共同平叛。并命建宁王李倓为范阳节度大使，与李光弼互为犄角，以攻取范阳。叛军失去根据地，必将身死于河南诸将之手。肃宗统统照他的计划行事，后来都不出其所料。这便是李泌的“挫其锐，解其纷”的战略运用。但可惜的是肃宗急功近利，没有听信李泌的建议，致使河北没有彻底肃清。
肃宗为了尽快收复都城长安，等到郭子仪筹借到西北军大集合的时候，便对李泌说：“今战必胜，攻必取，何暇千里先事范阳乎！”李泌就说：“如果动用大军，一定想要速得两京，那么贼势一定会重新强盛，我们日后会再受到困扰。我们有恃无恐的强大兵力，全靠碛西突骑、西北诸戎。假如一定要先取京师，大概在明年的春天，就可成功。但是关东的地理环境，与气候等情况，春天来得较早，气候容易闷热，骑兵的战马也容易生病，战士们思春。也会想早点回家，便不愿再来辗转作战了。那么，沦陷中的敌人，又可休养士卒，整军经武以后，必复再度南来，这是很危险的办法。”但肃宗却坚决地不听李泌的战略意见，急于收复两京，由此便出现了郭子仪借回纥兵，随广平王李豫等收复两京的一幕。
自从肃宗在灵武即位时起，李泌就一直在肃宗身边，为平叛出谋划策，他当时虽然没有身担要职，却“权逾宰相”。正是这种与肃宗极为亲密的关系，招来了权臣崔圆、李辅国的猜忌。两京收复后，平叛大局已定，李泌便主动要求离开权力的中心，遁避进衡山修道，肃宗下诏赐李泌三品俸禄及隐士服，还为他建造居室。
李泌隐居数年后，玄宗去世，肃宗随即也驾崩，新继位的皇帝便是李泌当年特别加以保护的广平王李豫（即唐代宗）。代宗即位，马上就召李泌回来，任命他为翰林学士。代宗先让他住在宫中的蓬莱殿书阁，跟着就在长安的光福里赐他府第，又强迫他吃肉，还为他娶已故朔方留后李暐的外甥女为妻。但是宰相元载认为李泌不肯依附自己，留在朝廷对自己是一个潜在的威胁。刚好江西观察使魏少游请朝廷为他派去一些僚佐，元载就盛称李泌有才，可担此任。李泌就以检校秘书少监、江南西道判官之职再次以离开朝廷。旋即改为检校郎中，仍任判官。
大历十二年（777年），元载犯罪伏诛，代宗立即召他还京，准备重用。但又为宰相常衮所忌，常衮再三设法外放他出任楚州刺史，李泌推辞不去，代宗也留他在朝中。适逢澧州有职务空缺，常衮极力陈述南方穷困之状，请求放李泌前往治理，代宗无奈，只得授李泌为澧（今湖南澧县）、郎、峡（今湖北宜昌）三州团练使，后迁任杭州刺史。李泌虽被贬至地方供职，但在所到之处都立有良好的政绩，尤以在杭州任上的治绩著名。宋人苏辙称“杭本江海之地，水泉咸苦，居民稀少。唐刺史李泌始引西湖水作六井，民足于水，故井邑日富。”
对于军国大事，李泌仍然不远千里地向代宗提出建议，代宗也必定采用照办。皇太子李适（即后来的唐德宗）也曾与李泌交游。
李泌一生崇尚出世无为的老庄之道，视功名富贵如敝屣，所以在肃、代两朝数度坚辞宰相之位，并且最终远离朝堂，长年隐居于衡山。
泾原兵变后，德宗避难于梁州，急诏征李泌至行在（此指梁州），授以左散骑常侍之职。德宗令李泌每天在中书省值班，以便等候德宗召对，受到朝野关注。
兴元元年（784年），被淮西叛军击败的前汴宋节度使李勉至长安，一部分朝臣认为他丢失了大梁，不应还在相位（时为同平章事）。李泌为李勉辩解，指出其人不擅用兵，但素来深得军民之心，又肯在睢阳主动交付兵权于部下刘洽（刘玄佐），成就了刘洽最后收复之功。德宗听后，才恢复了李勉的相位。
贞元元年（785年）七月，陕虢（今河南陕县、灵宝一带）都知兵马使达奚抱晖鸩杀节度使张劝，代领军务，邀求旌节，并密召李怀光将达奚小俊为援。德宗鉴于局势危急，便于任李泌为陕虢都防御水陆运使。李泌请求单骑前往，德宗初时虽有怀疑，但最终同意。李泌先见陕州进奏官及将吏在京城的人，欺骗他们说：“皇上因陕虢饥，所以让我领运使，督江淮米以赈济。陕州行营在夏县，如果达奚抱晖可用，就让他统军；如果有功，就让他出任节度使。”以此麻痹达奚抱晖。同月十七日，德宗加李泌为陕虢观察使。李泌至陕州行营，让达奚抱晖自领家人亡命。李泌辞行时，德宗曾草拟参加叛乱的七十五人名单授李泌，命他诛杀。李泌遣走达奚抱晖后，朝廷所派的宣慰使要求李泌一定要诛杀叛乱者。李泌不得已，只械送了兵马使林滔等五人送至京。达奚小俊领兵入境，听说李泌已入陕，只得还军。陕虢遂安。
贞元三年（787年），参与防秋的淮西门枪兵马使吴法超率步骑四千从鄜州（今陕西富县）叛逃。浑瑊派部将阻拦未果。德宗急遣中使敕令李泌发兵拦阻，不得让淮西军渡河。李泌马上派押牙唐英岸率军至灵宝，但淮西军已渡过黄河列阵。李泌于是令灵宝供给他们粮食，淮西军也不敢剽掠。次日，淮西军在陕州城西宿营，李泌不再向他们供给粮食，而派部将率精兵埋伏于太原仓隘道。一日后，淮西军行入隘道，李泌所派的伏兵齐发，淮西军大败。残军从山路南逃，李泌又派大将燕子楚率军四百至长水（今河南洛宁西）。唐英岸多次追败叛军，吴法超等至长水，被燕子楚伏杀。
李泌执政的时间虽短，但他在任内却做了许多意义重大的事，从而在相当程度上保证了贞元年间帝国总体形势的和平与稳定。
李泌对内政的处理，外交的策略，军事的部署，财经的筹划，都做到了安和的绩效。 他勤修内政，充裕军政费用。保全功臣李晟、马燧，以调和将相。外结回纥、大食，达成“贞元之盟”，从而遏制吐蕃以安定边陲。李泌常有与德宗政见不同之处，反复申辩上奏达十五次之多。德宗曾对他说：“朕要和你约法在先，因你历年来所受的委屈太多了，不要一旦当权，就记恨报仇，如对你有恩的，朕会代你还报。”李泌说：“臣素奉道，不与人为仇。害臣的李辅国、元载他们，都自毙了。过去与臣要好的，但凡有才能的，也自然显达了。其余的，也都零落死亡了。臣实在没什么恩怨可报的。但是如陛下方才所说，臣可与陛下有所约言吗？”德宗就说：“有什么不可以的呢？”李泌便进言，希望德宗不要杀害功臣，认为“李晟、马燧有大功于国，闻有谗言之者。陛下万一害之，则宿卫之士，方镇之臣，无不愤怒反厌，恐中外之变复生也。陛下诚不以二臣功大而忌之，二臣不以位高而自疑，则天下永无事矣。”德宗听了认为很对，接受了李泌的建议。李晟、马燧在旁听了，当着德宗感泣而谢。
郜国公主是太子妃萧氏的母亲，因“蛊媚（使用邪术）”获罪，被德宗幽禁在宫中。德宗在处置完郜国公主后，又因怒责备太子李诵，太子不知所措。李泌常常听德宗称赞舒王李谊贤明，他估计德宗有废立太子的意图，便说：“陛下有一个儿子却怀疑他，想要立陛下弟弟的儿子，臣不敢用古例争论。再说十王宅的叔父们，陛下是如何对待的？”德宗惊讶道：“你怎么知道舒王不是朕的儿子？”李泌回答说：“陛下过去为臣说过这事。陛下有嫡子（指李诵）却要怀疑，那弟弟的儿子（指李谊）怎敢为陛下所信任？”德宗不满，语带威胁地说：“你违背朕的心意，难道不顾及你的家族吗？”李泌回答说：“臣已经衰老了，位居宰相，因谏言被杀，是我的职分。假使太子被废除，他日陛下后悔说‘我只有一个儿子却被我杀了，李泌不劝谏我，我也要杀了你的儿子’，那么臣就绝后了。虽然臣的兄弟有儿子，但他们的祭祀不是我该享受的。”说罢便呜咽流涕。他又说：“昔日太宗下诏：‘太子无道，藩王窥伺太子之位的，二者都应废黜。’”陛下对太子生疑而称赞舒王贤明，他能没有窥伺太子之位的想法吗？如果天子有罪，请求废掉他而立皇孙，千秋万岁以后，天下还是陛下的子孙所有。何况郜国公主被女儿妒嫉，而蛊惑太子，陛下怎能因妻子的母亲连累太子呢？”李泌在德宗面前争论数十次，愈加坚持己见，德宗才醒悟，太子李诵“乃得安”。
接着李泌又提出唐肃宗与代宗父子恩怨之间的往事，道说：“陛下不记得建宁王的事情吗（唐肃宗因受宠妃张良梯及奸臣李辅国的离间，杀了其子建宁王李倓）？”德宗说：“建宁叔（指李倓）确实是冤枉的，他的不幸是因为肃宗性子太急了。”李泌说：“臣以前为了此事辞职归隐，发誓不再靠近天子身旁（大意指不再入朝任职），不幸今日又担任了陛下的宰相，再次看到了这件事（指太子被诬陷）。而且那时候先帝（德宗之父代宗）心中常常担忧恐惧。臣离朝辞谢时，曾诵读《黄台瓜辞》，肃宗才因悔悟而哭泣。”（《黄台瓜辞》为章怀太子李贤所作。武则天掌权时，杀李唐宗室，李贤自测难以幸免，故而创作此辞）德宗听到这里，总算受到感动，但仍然说：“我的家事，为什么你要这样极力参与？”李泌说：“臣现在独自承担宰相的重任，四海之内，‘一物失所’，责任都归咎在臣身上，何况是坐视太子横遭冤祸而闭口不言，这样臣的罪就大了。”他甚至说到“臣敢用整个宗族的性命来保太子”，君臣之间往返辩论多次，李泌还告诉德宗要极力保密，回宫后不要让侍从知道如何处理此事。一面又安慰太子不要气馁，不可自裁，他对太子说：“一定没有这种忧患，希望太子更加恭敬孝顺，假使臣死了，那就无法得知此事如何处理了！”最后总算解开德宗父子之间的心结。德宗特开延英殿召见李泌，对他哭着说：“不是你的直言，朕已悔之不及！太子仁厚孝顺，的确没有其他事。从今以后，军国事务及朕的家事，都应与你商议。”李泌在拜贺之外，便说：“臣报效国家的使命完成了。惊悸之余的亡魂（指他为太子之事忧愁思虑所带来的压力），不能再用了，希望陛下允许臣乞骸骨。”德宗除了道歉安慰，硬不准他辞职。
除此之外，在为相期间，李泌针对“徐地重而兵劲”却“地迫于寇，常困肸不支”的现状，建议将徐州与濠、寿、庐三州都团练观察使张建封治下的濠、泗二州合并，授张建封为徐泗濠节度使（后来的武宁军节度使），以对抗平卢镇的威胁，保卫江淮粮运通道。德宗允准。张建封在任十年，使徐州成为当时著名的雄镇。
德宗曾与李泌议论此前被罢免的诸位宰相，李泌在对答的同时巧谏德宗，使德宗似有所悟。此后不久，德宗加拜李泌为集贤殿、崇文馆大学士，修国史。李泌认为，学士加“大”之名始自唐中宗时期，到玄宗时有张说得任此官，于是极力推辞，德宗允准，命其以学士官“知院事”。
康熙六十一年（1722年），李泌与历代功臣四十人得以从祀历代帝王庙。
《新唐书·艺文志》等著录有《李泌集》20卷，今已佚。《全唐诗》存其诗4首，又断句6句，《全唐诗续拾》补断句3句，补题1则。《全唐文》亦存其文2篇，《唐文拾遗》补1篇。
李泌参与宫室大计，辅翼朝廷，运筹帷幄，对外策划战略，配合郭子仪等各个将领的步调，使其得致成功，也可以说是肃宗、代宗、德宗三朝天下的重要人物。只是因他一生爱好神仙佛道，被历来以儒家出身、执笔写历史的大儒们主观看法所摒弃。说到他的淡泊明志，宁静致远，善于运用黄老拨乱反正之道的作为，实在是望之犹如神仙中人。
明瓒：领取十年宰相。
李适：①滉（韩滉）不惟安江东，又能安淮南，真大臣之器，卿（李泌）可谓知人！②山河粹气，道德清英，蔚为祯祥，生我王国。夷简不杂，高明有融，深厚以致诚，直方而可大。识穷化本，动会时中，谠正居心，谋猷允哲。自膺分陕，累洽嘉闻。宜其入掌中枢，内司阙衮，赞两仪之化育，贞百度之经纶。协和神人，参总廊庙，咨尔才实，惠於邦家。③惟卿则异彼三人（卢杞、崔祐甫、杨炎）者。朕言当，卿有喜色；不当，常有忧色。虽时有逆耳之言，如曏来纣及丧邦之类。朕细思之，皆卿先事而言，如此则理安，如彼则危乱，言虽深切而气色和顺，无杨炎之陵傲。朕问难往复，卿辞理不屈，又无好胜之志，直使朕中怀已尽屈服而不能不从，此朕新以私喜于得卿也。
梁肃：唐兴九世，天子以人文化成天下，王泽洽，颂声作，洋洋焉与三代同风。其辅相之臣曰邺侯李公泌字长源，用比兴之文，行易简之道，赞事盛圣，辨章品物；疏通以尽理，闳丽而合雅。舒卷之道，必形於辞。其伟矣夫……其习嘉遁，则有沧浪紫府之诗；其在王庭，则有君臣赓载之歌。或依隐以玩世，或主文以谲谏，步骤六义，发扬时风。观其词者，有以见上之任人，始兴之知人者已。初太上当阳，公以处士延登内殿，实敷黄老之训。至德初，宣皇以元良受禅，公则献《泰阶颂》，昭纂尧之道，睿文以广平伐罪。公则握中权之柄，参复夏之功。大德不官，既追五岳之隐；大用不器，终践代天之职。方将熙庶工以成邦教，载直笔以修唐书，命之不融，凡百兴叹？
宋祁：泌之为人也，异哉！其谋事近忠，其轻去近高，其自全近智，卒而建上宰，近立功立名者。观肃宗披榛莽，立朝廷，单言暂谋有所寤合，皆付以政。当此时，泌于献纳为不少，又佐代宗收两京，独不见录，宁二主不以宰相器之邪？德宗晚好鬼神事，乃获用，盖以怪自置而为之助也。繁为家传，言泌本居鬼谷，而史臣谬言好鬼道，以自解释。既又著泌数与灵仙接，言举不经，则知当时议者切而不与，有为而然。繁言多浮侈，不可信，掇其近实者著于传。至劝帝先事范阳，明太子无罪，亦不可诬也。
司马光：①泌虽诡诞好谈神仙，然其知略实有过人者。至于佐肃、代复两京，不受相位而去，代宗、顺宗之在东宫，皆赖泌得安，此其大节可重者也。《旧传》毁之太过。《家传》出于其子，虽难尽信，亦岂得尽不信！②李泌欲弭德宗之欲，而丰其私财，财丰则欲滋矣，财不称，欲能无求乎，是犹启其门而禁其出也，虽德宗之多僻，亦泌所以相之者，非其道故也。
叶适：古今毁誉，类不可凭，而房琯李泌为甚……泌历三主，艰难时弥纶补益，盖不为少，然毁之者乃无异于左道怪民，何也？琯结知于众人，泌结知于人主，势应至此。罗大经：自古隐士出山，第一个是伊尹，第二个是傅说，第三个是太公，第四个是严陵，第五个是孔明，第六个是李泌，皆为世间做得些事。
胡三省：①自李泌为相，观其处置天下事，姚崇以来未之有也。史臣谓其出入中禁，事四君，数为权幸所疾，常以智免。好纵横大言，时时谠议，能寤移人主意。然常持黄、老、鬼神说，故为人所讥。余谓泌以智免，信如史臣言矣。然其纵横大言，持黄、老、鬼神说，亦智也。泌处肃、代父子之间，其论兴复形势，言无不效。及张、李之间，所以保右代宗者，言无不行。元载之谗疾，卒能自免，可谓智矣。至其与德宗论天下事，若指诸掌。以肃、代之信泌而泌不肯为相，以德宗之猜忌而泌夷然当之，亦智也。呜呼！仕而得君，谏行言听，则致身宰辅宜也。历事三世，洁身远害，筋力向衰，乃方入政事堂与新贵人伍……所谓经济之略，向未能为肃、代吐者，尽为德宗吐之。岂德宗之度弘於祖父邪！泌盖量而后入耳。彼德宗之猜忌刻薄，直如萧、姜，谓之轻已卖直；功如李、马，忌而置之散地；而泌也恣言无惮。彼其心以泌为祖父旧人，智略无方济中兴，其敬信之也久矣，泌之所以敢当相位者，其自量亦番矣，庸非智乎！其持黄、老、鬼神说，则子房欲从赤松游之故智也。但子房功成后为之，泌终始笃好之耳。 ②按泌虽诡诞好谈神先，然知其略实有过人者。至于佐肃、代复两京，不受相位而去，代宗、顺宗之在东宫，皆赖泌得安，此其大节可重者也。
王应麟：莹八岁，能咏诗；泌七岁，能赋棋。彼颖悟，人称奇，尔幼学，当效之。
朱右：予观唐人材出处从容，有三代王佐器，唯李泌、陆贽而已。泌自赞复两京，功成身去。代宗再征，权臣间忌，浮湛外任。德宗以春宫之知，委心听用。泌亦竭智尽忠，展布政体，谋虑计划，洞烛物情，故治效聿着。迹其安马燧、取怀光、相李勉、保韩滉，单骑以来抱晖，设伏以擒叛卒，开三门运路，屯关中荒田，国用日充，边镇慑服，其绩章章可纪。至于辩太子冤，则曰“天子以四海为家，宰相当豫”。帝赠白起，则曰“国将兴，听于人”。帝言有命，则曰“君相造命，不可言命其”。言又足征者。《唐传》乃谓其随时俯仰，无足可称，取媚以求相位，岂信史哉？
高启：至于肃宗之昏孱、徳宗之猜忌，而太子卒得以不动者，果谁之力哉？一李泌而已耳……然则君无曹公之智，臣无李泌之忠，而小人是信，则虽父子犹不能自保，可不慎哉！
方鹏：颖考叔、狄梁公、韩魏公，善处人君母子之间者也；张子房、李泌，善处人君父子者也；田叔、郅恽，善处人君兄弟者也。
