吕端的父亲吕琦曾任后晋的兵部侍郎，吕端少年时聪敏好学，最初以其父的官位荫补千牛备身。历任国子主簿、太仆寺丞、秘书郎、直弘文馆，又转任著作佐郎、直史馆。
建隆元年（960年），赵匡胤（宋太祖）建立北宋，吕端调任太常丞、知浚仪县，同判定州。
开宝八年（975年）七月，西上阁门使郝崇信出使契丹，朝廷授吕端为太常少卿，担任副使。同年，吕端出知洪州，还未就职，改任司门员外郎、知成都府，并获赐金紫衣。吕端为政清廉俭约，远方之人得以安宁。
齐王（后封秦王）赵廷美任开封尹时，吕端被征召为考功员外郎，充任开封府判官。
太平兴国四年（979年），宋太宗赵光义亲征北汉，赵廷美将受命留守开封，吕端对赵廷美说：“主上栉风沐雨，以征伐不义来表明天意，大王您处于近亲且有贤名之位，应当首先跟随护卫。现在由您主持留务事务，这不是您应该做的。”赵廷美于是向赵光义恳请随行。不久后，吕端因受王府亲近官属向管理人员说情违法买卖竹木的案子中牵连，被贬为商州司户参军。后调任汝州司户参军，又复任太常丞、判太常寺事务。
其后出知蔡州，因政绩良好，被官民上奏请求借留一任。后改授祠部员外郎、知开封县，调任考功员外郎兼侍御史知杂事，曾出使高丽。又调任户部郎中、判太常寺兼礼院，再转任大理少卿，不久后拜右谏议大夫。
许王赵元僖任开封尹时，吕端又任其判官。赵元僖去世后，有人告发他被爱妾张氏迷惑，使其多做不法之事。吕端因辅助有失，被贬为卫尉少卿。不久后，被恢复旧职，又任枢密直学士。一个月后，出任参知政事，成为副相。
吕端历任朝内外官职，虽然并没有重大建树，但他沉稳、镇静、有器量、识大体的吏治才干，已日渐为人所知。宰相赵普就曾称赞吕端说：“我见吕公奏事，得到皇上的嘉许，看不见他显出得意；受到别人的挫抑也看不见他显出沮丧或恐惧。他喜怒不形于言色。真是做宰相的人才啊！”后来，左谏议大夫寇准也升为参知政事。吕端请求让自己位居寇准之下，太宗马上授吕端为左谏议大夫，位在寇准之上。太宗宠待吕端，常常单独在偏殿召见吕端，讨论许久。之后，吕端升任户部侍郎、平章事。
吕端仪表俊秀，处事宽厚忠恕，善交朋友，讲义气，轻钱财，好布施。 处事理政才华出众，逐渐为宋太宗所喜爱和重用。早在吕蒙正为相之时，太宗就有重用吕端的想法。在太宗与别人商量，打算任用吕端为相时，遭到部分朝臣反对，他们认为吕端“糊涂”。太宗根据自己多年体察，立即说：“吕端小事糊涂，大事不糊涂。”其实这个时候已坚定了任用吕端为相的决心。当时，太宗还作过一首钓鱼诗，其中有两句是这样写的：“欲铒金钩深未达，磻溪须部钓鱼人。”这诗中的意思是说，对于任用吕端当宰相的事，已无可争议，宰相这个职位非吕端莫属。过后数日，太宗就让吕蒙正改任参知政事，吕端则进官门下侍郎兼兵部尚书，正式出任宰相。吕端拜相时，已年届六十，太宗曾后悔自己对吕端重用太晚。
吕端任宰相后，办事持重稳当，公道而廉洁，深得朝中朝外各方面的好评。使太宗听到的奏章多是褒奖之辞，对吕端的印象当然就更好了。
太宗为了平衡各方面的关系，特别是对寇准的使用，恐有吕端官居相位以后在寇准之上，使寇准心中不平，就采取了一个临时过渡的办法，作为权宜之计。太宗让时任参知政事的寇准与宰相吕端“分日押班知印，同升政事堂”。也就是说，让吕端和寇准隔日轮流执掌相府大计，他俩平起平坐，太宗则从旁加以观察。
当时送到朝中的奏折很多，而朝中也有各种各样的意见，但是众说纷纭，没有决断性的意见，“惟端罕所建明。”经过一段观察之后，宫内付出太宗的亲手戒谕：“自今中公事必经吕端详的，乃得闻奏。”这一道谕旨，无疑是太宗对吕端的更大信任和重用。吕端感到事已至此，再谦让也就不妥当了，于是他未加推辞欣然从命，履行公事。实际上这时吕端才真正成了名副其实的、有职有权的当朝宰相。以致数年后吕端的名声远扬，而且传至后代，被称为一代名相。
至道三年（997年）二月，太宗病重时，宦官王继恩暗中串联参知政事李昌龄、殿前都指挥使李继勋、知制诰胡旦等，并与太宗妻李皇后一起谋立太宗长子赵元佐，企图发动政变。
三月二十九日，吕端入宫问疾。这时太宗已危在旦夕，吕端见太宗左右只有王继恩和李皇后，却不见太子赵恒。他担心事情有变，于是在笏上写“大渐”二字，让亲信交给赵恒，让他赶快入宫。
待到太宗驾崩后，李皇后让王继恩来到中书省告知吕端。吕端知道有变，抽身出阁，反手将王继恩锁在中书画阁中，并派人予以看守。他从中书省来到万岁殿，以太宗的生前意愿为依据和李皇后理论，使其默然无言，最后拥立赵恒即位，是为宋真宗。赵恒即位后，垂帘引见群臣。吕端平立殿阶，请求侍臣卷帘，他登殿审视，确认是赵恒后才退降殿阶，率群臣拜呼“万岁”。
咸平元年（998年）夏，因吕端久病不僡，真宗下诏免去他每日朝拜的礼仪。有事靠书信沟通视事。十月，真宗授吕端以太子太保致仕。告假三百日后，真宗仍命有司供他俸禄。之后，真宗亲自探望吕端，当时他已病重，真宗对他倍加抚慰。
咸平三年（1000年）四月初三（5月9日），吕端逝世，享年六十六岁。朝廷追赠司空，谥号“正惠”，并追封其妻李氏为泾国夫人，任命其子吕藩为太子中舍人、吕荀为大理评事、吕蔚为千牛备身、吕蔼为殿中省进马。
《全宋诗》录其诗2首：《送英公大师归终南》《赠李公》。另有残句1句。
在宋太宗传位真宗的过程中，吕端起了至关重要的作用。真宗即位之初的稳定政局也离不开吕端，他在对待拥立赵元佐集团的人的问题上，很稳健老练。他首先让李皇后之弟李继隆为使相，表示尊崇，出镇陈州。接着，吕端以王继恩、李昌龄交接请托“泄露宫禁语言”的罪名，对王继恩较重处分是（安置均州），对李昌龄只是以大幅度贬官（贬为忠武军司马）了事。处理秘书监胡旦，只说他起草诏书“颇恣胸臆”，有诽谤言辞，除名流放浔州，处理也是偏重的。但在处理时，吕端都没有指明他们是因拥立赵元佐而得罪的，而且除王继恩以外的诸人，也都得到了从宽处理。
赵普：观吕公奏事，得嘉赏未尝喜，遇抑挫未尝惧，亦不形于言，真台辅之器也。
赵光义：①端小事糊涂，大事不糊涂。②简直夷旷，宣慈惠和。挺王佐之伟才，负人伦之硕望。顷自擢参枢轴，再历炎凉。运奇兵于庙堂，询谋惟允；贡昌言于帷幄，謇谔可嘉。适当求理之辰，益见匪躬之节。矧又周知大体，多识旧章，用晦而明，中立不倚。王商厚重，既远慑于羌戎；谢傅元虚，可坐镇于雅俗。宜践公台之位，允符师尹之瞻。
赵恒：朝之隽老，人所具瞻。茂同寅亮，采之勋罄。
曾巩：端姿表瑰秀，器识和裕，屡遭摈斥，未始经意。
张鎡：吕正惠公端姿仪瑰秀，有器量，宽厚多恕，善谈谑，意豁如也。虽屡经摈退，未尝以得丧介怀，深为当世所服。端善与人交，轻财好施，未尝问家事。
吕中：①吕端持重识大体，锁王继恩于阁内而大计以定。真宗即位，掷帘升履，审视然后降拜。其胆略如此，此皆得人之效也。②在真宗之初则有吕端，在仁宗之初则有王曾，其皆安国家、定社稷之名臣欤。
脱脱：吕端谏秦王居留，表表已见大器，与寇准同相而常让之，留李继迁之母不诛。真宗之立，闭王继恩于室，以折李后（明德皇后）异谋，而定大计；既立，犹请去帘，升殿审视，然后下拜，太宗谓之“大事不糊涂”者，知臣莫过君矣。
薛应旗：申屠安坐而邓通稽首，宋璟庭立而昌宗（张昌宗）匍匐，吕端锁阁而继恩彷徨，韩琦出檄而守忠（任守忠）黜贬；王嘉发愤不能去一佞幸，杨震连疏不能去一乳媪，萧望之以师傅困于石显，赵汝愚以贵戚阨于侂胄（韩侂胄），此无他，权之所在，有重轻也。
归有光：君德赖以培养，生民赖以滋息，社稷赖以镇定，此忠厚之臣也。其在于古，若偿金、脱骖、翻羹、唾面之类，皆可以言忠厚也。其大者，则如曹参、周勃、丙吉、狄仁杰、郭子仪、裴度、吕端、王旦、韩琦之徒是也。
王夫之：①德昭（赵德昭）之死，廷美（赵廷美）之窜，大乱之道，太宗之巨慝也。立其廷者，以刚直称，则窦偁、姚坦；以昌言称，则田锡、张齐贤；以方正称，则李昉、吕端；皆所谓贤臣也。而俯首结舌，听其安忍戕性以行私，无敢一念开国之先皇者。②宋自雍熙以后，为平章、为参知、为密院、总百揆掌六师者，乍登乍降，如拙棋之置子，颠倒而屡迁。夷考其人，若宋琪、李昉、李穆、张齐贤、李至、王沔、陈恕、张士逊、寇准、吕端、柴禹锡、苏易简、向敏中、张洎、李昌龄者，虽其闲不乏侥幸之士，而可尽所长以图治安者，亦多有之。
朱轼：当太宗晏驾，事几不测，虽有宏才远略、文武兼资者，未必能定之。俄顷也，端决机于始，而坚持于后，升阶审视，然后下拜，非器识凝定，其孰能之？迹其洊历州郡，所在着声，周旋同列，群而不党，小事糊涂，岂笃论哉！
爱新觉罗·弘历：吾读《宋史》至吕端闭王继恩于室，入立真宗，然后升殿审视以拜，未尝不贤其能定大计而想见其为人。当太宗升遐，李后方异议，主幼时艰，而端乃从容定计，沮其邪谋，扄其羽翼，顷刻之间，嗣君以定。……宋初清明，信任贤相，端能不动声色，处之晏如，可谓善于应变矣。端器量宽（阙），英才表表，真宗雅重之。……太宗尝称“吕端大事不糊涂”，可谓知端者矣。
于敏中：至于宋初，五窦、二宋、二扈而外，文则赵普、吕余庆、吕端、边归谠、赵上交、刘载剧可久，武则赵赞、刘廷让、高彦晖、李怀忠、田重进、刘重进、李琼、张晖、马全义、刘审琼、张藏英、董遵诲。燕之人才，亦可谓盛矣。
毕沅：端有器量，虽屡经滨退，未尝以得丧介怀，平居不蓄资产。及为相，持重识大体，以清净简易为务。
恽毓鼎：宋代宫闱之事，大臣皆得与闻。如王文正（王旦）、吕正惠、吕文靖（吕夷简），遇大事极能匡正。
蔡东藩：若夫建储一事，为君主国之要典，太宗年近周龄，犹未及此，且怒斥冯拯诸人之奏请，何其疏也？幸寇准片言决议，主器有归，于是王继恩不得逞私，吕端得以持正，闭寺人于阁中，觐真主于殿上，人以是美吕司空，吾谓当归功寇莱公，曲突徙薪，应为上客，若迟至焦头烂额，不已叹为无及乎？
南怀瑾：所谓“诸葛一生唯谨慎，吕端大事不糊涂。”这是一副名联，也是很好的格言。吕端是宋朝一个名宰相，看起来他是笨笨的，其实并不笨，这是他的修养，再处理大事的时候，遇到重要关键，他是决不马虎的。
