1904年1月4日，出生于辽宁省海城县（今海城市）毛祁镇山后村一个贫苦农民家庭。他从小目睹日本军队对自己家乡的烧杀抢掠，内心充满对侵略者的仇恨。他将自己的名字改为“正操”，决心长大后当兵，操练本领，打击日本侵略者。
1922年，加入张学良的卫队旅，次年考入东北讲武堂学习，毕业后任张学良的副官、秘书。
1929年，任东北军第116师16旅参谋处处长。
1932年，任东北军116师647团团长，率部到热河参加对日军作战。他在与东北军中的中共党员接触中，开始接受中国共产党的抗日主张。
1934年春，率部担负北平城防任务，严防日军寻机控制北平城防的企图。
1935年6月，在反击投敌叛军妄图与日军里应外合攻占北平城的战斗中，他指挥部队前后夹攻、堵截围歼，将叛军全部消灭，城防部队无一人伤亡。12月9日，在“一二·九”运动中，支持北平学生的爱国行动，指示部队主动配合学生游行示威，援助学生进城，受到学生的欢迎和称赞。
1936年9月，在北平建立了东北武装抗日救亡先锋队，任总队长。不久即被张学良选调到西安，在张学良公馆担任内勤。12月12日，参加了张学良、杨虎城发动的西安事变，期间多次和来西安共商国共两党合作大计的中国共产党人接触，聆听了周恩来的教导，更加深切地体会到中国共产党抗日民族统一战线政策的伟大和正确，更加坚定了对中国共产党的信赖。西安事变和平解决后，重返东北军647团任职。
1937年初，由于中共党员在647团的革命活动引起东北军上层反动军官的警觉，他们要求把647团拆散和其他部队混编。根据中共中央北方局的指示，吕正操率部接受改编，任新编691团团长，继续开展抗日救亡活动。
1937年5月，经中共中央北方局批准，吕正操加入了中国共产党。
1937年7月7日，日军在北平附近挑起卢沟桥事变，中日战争全面爆发，吕正操率部奔赴抗战前线。
1937年9月15日至10月11日，先后在华北地区永定河、半壁店、梅花镇与日军进行了3次激战。在梅花镇战斗中，691团以较小代价，击毙击伤日军700多人，这是侵华日军在河北省境内首次遭受重创，有力地打击了日本侵略者的嚣张气焰。
1937年10月14日，在晋县小樵镇主持召开了决定部队前途命运的全团官兵代表会议，决定691团脱离东北军，改编为人民自卫军，他担任司令员，并在所属各总队都建立了党组织，部队成为一支在中国共产党领导下的人民武装。在中国共产党的领导下，人民自卫军在抗日斗争中屡建奇功。
1938年5月，根据晋察冀军区命令，人民自卫军与河北游击军等冀中抗日军队统一整编为八路军第三纵队，成立冀中军区，吕正操任冀中军区司令员兼八路军第三纵队司令员。在晋察冀军区领导下，他带领部队依靠广大人民群众，积极开展冀中平原游击战。半年时间内，吕正操指挥部队与日伪军作战100余次。在开辟大清河北根据地以后，配合冀中区党委，加快建设冀中抗日根据地，根据地很快发展到几十个县、人口约700万，建立了冀中抗战学院，军区部队发展到约10万人。
1939年1月，八路军120师挺进冀中。同年2月，根据中央指示，成立了由贺龙任书记的冀中军政委员会。在贺龙领导下，吕正操和军政委员会其他一起，加强冀中部队的正规化建设，进一步发展了冀中抗日根据地，扩大了晋察冀抗日根据地，有力地打击和牵制了日本侵略者。
1940年秋，根据八路军总部指示，吕正操率冀中部队参加了著名的百团大战。组织部队发动破击正太路战役，对平汉路、北宁路、津浦路以及石德路、沧石路等进行了广泛的破击，共平毁公路、铁路500多公里，炸毁桥梁20座，收割电线27000多斤，毙伤日伪军1300多名，有效地阻止了平汉路敌人向正太路的增援。组织指挥了任丘、河间、大城、肃宁地区战役，先后歼灭日伪军1500多人，拔掉敌据点29个，摧毁了这一地区大部分敌伪组织，粉碎了敌人在冀中中心地区建立统治的阴谋。
1941年至1943年，为了粉碎敌人的“蚕食”进攻和大“扫荡”，吕正操带领部队官兵和人民群众，在无险可据的平原上和极端残酷的环境中，灵活运用地雷战、地道战、蘑菇战、顶牛战等新战法，使敌人吃尽苦头，时时处于惶恐之中。
1943年11月，调任晋绥军区司令员。同年秋任中共中央晋绥分局委员（后任常委）。他和时任中共中央晋绥分局代理书记兼军区政治委员的林枫一道，坚持贯彻党中央和毛泽东关于“把敌人挤出去”的指示，带领晋绥边区军民迅速开展秋季反“扫荡”作战行动，使边区根据地形势得到根本好转。
1945年4月，参加在延安召开的中国共产党第七次全国代表大会，当选为中共第七届中央候补委员。抗日战争胜利后，任东北民主联军副总司令兼西满军区司令员，东北军区副司令员兼东北铁路总局局长，东北人民政府铁道部部长，中共中央东北局委员，中央军委铁道部副部长兼铁道兵团副司令员。
解放战争时期，任中共中央东北局委员、西满分局常委，东北人民自治军第一副总司令员，西满（辽热）军区司令员，东北民主联军副总司令员，东北军区兼东北野战军副司令员。他积极组织开展剿匪反霸斗争，为建立巩固的根据地作出了主要贡献。
1946年7月，中共中央东北局决定成立东北铁路管理总局，吕正操任总局局长兼政治委员。他还先后任东北行政委员会铁道部部长，军委铁道部副部长兼护运司令员，中国人民解放军铁道兵团副司令员，有力地领导和指挥了铁路保障工作。特别是在辽沈战役中，由于铁路损毁严重，他带领东北行政委员会铁道部员工和支前群众，排除万难，紧急抢修抢运，在9天内把近十万大军和大量作战物资运送到前线，为保障辽沈战役胜利起到了关键性作用，为夺取解放战争的胜利作出了重要贡献。
新中国成立后，任铁道部副部长、党组副书记兼铁道兵团副司令员。
抗美援朝战争期间，兼任中央军委军事运输司令员，负责铁路运输和抢修工作。面对敌军的狂轰滥炸，吕正操深入战地现场指挥铁路抢修和物资运输，指导部队创造了“先通后固、先易后难、确保重点、预有准备”等一系列特殊的抢修方法，确保铁路随炸随修、连炸连修、此断彼通、彼断此通，在有限的通车时间内发挥了很高的运输效率，建起了一条打不断、炸不烂的“钢铁运输线”，为支援我军作战提供了坚强有力的保障。
抗美援朝战争结束后，兼任解放军总参谋部军事交通部部长。他积极协助铁道部部长滕代远工作，参与研究制定了全国“一五”计划铁路建设规划，并参与领导建成了拥有多项世界领先技术的武汉长江大桥，完成了成渝、天兰、湘贵、兰新、宝成、丰沙、鹰厦等一系列干线、支线铁路工程建设任务。
1958年起至1967年6月，先后担任铁道部代部长、部长、党组书记，并兼任铁道兵第一政治委员、西南铁路建设总指挥部副总指挥。针对西南地区地形险恶、地质复杂的不利条件，他提出了“抓思想、抓设计、抓部署”的工作思路，深入实地进行考察，广泛听取意见建议，召开工程技术人员座谈会，鼓励大家排除困难，科学施工。在军地各方面的共同努力下，西南铁路大会战取得了巨大成就，川黔线、贵昆线、成昆线相继通车。西南三线铁路的建成，对促进西南地区经济社会发展、提高国防交通保障能力，具有深远的意义。
1967年7月起，受林彪、江青等人迫害，被非法监护审查、关押达7年之久。
1975年，重新工作后，历任铁道兵政治委员、第一政治委员。他按照邓小平有关指示精神，积极推动铁道兵部队“兵改工”工作。
1980年1月，中共铁道部党组作出了为吕正操平反的决定，并经中央正式批复同意。
1983年，当选为政协第六届全国委员会副主席，为巩固和加强中国共产党领导的多党合作和政治协商制度作出了积极贡献。
1991年5月，受中共中央委托，专程赴美国看望张学良将军，为改善两岸关系作出了贡献。
1955年，被授予上将军衔。
1988年，被授予中国人民解放军一级红星功勋荣誉章。
2009年10月12日14时45分，在北京逝世，享年106岁。
著有《吕正操回忆录》、《冀中回忆录》、《吕正操将军自述》、《西安事变与周恩来同志》（与罗瑞卿、王炳南合著）、《论平原游击战争》。
抗日战争爆发后，吕正操根据中央指示率部开赴冀中，改编为冀中人民自卫军，任司令员。1938年5月至1943年秋任冀中军区司令员兼八路军第三纵队司令员，其间，曾任冀中区党委委员、冀中军政委员会委员、冀中行政公署主任、冀中区总指挥部副总指挥。在冀中大地，书写下赫赫战功。
吕正操于1949年1月至10月任军委铁道部副部长，解放后历任铁道部副部长、部长等职。吕正操最感兴趣的是进藏铁路工程，1958年9月，青藏铁路第一阶段开工，至1960年铺通97公里。其后青藏铁路两度下马，两度重启，直至2006年7月全线贯通。
人民网：“吕正操的一生，是革命的一生，战斗的一生，为党和人民无私奉献的一生。他的逝世，是我们党、国家和军队的重大损失。他为党和人民事业建立的卓越功绩将永载史册！”
《中国人民解放军赋》创作组长陈恩田曾为吕正操将军题字：正大光明，操行世范。
