嘉庆二十一年（1816年），彭玉麟生于安徽安庆。
道光十二年（1832年），随父彭鸣九回籍。其父死，族人夺其田，避居衡州府，就学石鼓书院。投衡州协标营充司书，月支饷以养家。衡州知府高人鉴，偶于客坐见其文字，极为称赏，并招其入署读书，旋补附学生员。
道光二十三年（1843年），因舅舅病故，彭玉麟遣人去安徽，将外祖母并竹宾姨接来衡阳奉养。
道光二十五年（1845年），彭玉麟外祖母病逝于衡州。竹宾姨出嫁。彭玉麟与夫人邹氏完婚。
道光三十年（1850年），李沅发起义，彭玉麟从衡州协标兵随往镇压。彭玉麟在此战中崭露头角，被授予蓝翎顶戴，却辞官不就，去耒阳一家当铺做了管账先生。
咸丰三年（1853年）冬天，彭玉麟受曾国藩之邀，加入湘军，在衡州与曾国藩创办湘军水师，购买洋炮，制造大船，制船制营制章程。
咸丰四年（1854年）2月23日，湘军衡州船厂毕工。是时，湘军水师粗具规模，有十营五千人，其中在湘潭的有四营，以褚汝航、夏銮等为营官；在衡州的有六营，以彭玉麟、杨载福等为营官。2月25日曾国藩发布《讨粤匪檄》，督湘军水师、陆师共计一万七千余人，自衡州启程，开始北伐。4月7日太平军石祥祯部击败曾国藩湘军，再占岳州。湘军水师往长沙撤退。彭玉麟支持左宗棠的观点，力主以主力攻打湘潭。4月28日曾国藩违背彭玉麟事先的规划，自督战船四十艘、陆勇八百，合乡团进攻靖港太平军，水陆俱败。曾国藩羞愤投水自杀，左右援救以出。同日，彭玉麟、杨载福等率水师五营在湘潭大败太平军水营。4月30日彭玉麟、杨载福等率水师五营顺风纵火，将太平军船只焚烧殆尽。湘潭之战以湘军完胜而告终。
不久，曾国藩命褚汝航、夏銮、彭玉麟、杨载福率领湘军水师四营两千人为先锋，攻打岳州。湘军水师于君山、雷公湖一带设伏，大败太平军水营。
太平天国悍将曾天养率船三、四百艘，配合陆师，反攻湘军。水路仍被湘军水师击败。湘军水师与太平军水营战于道林矶，又获大胜。
曾国藩率湘军水师余部及陆军两千人，总兵陈辉龙率广东水师四百人，知府李孟群率广西水勇千人，抵达岳州。太平军韦俊等部反攻岳州，陈辉龙、褚汝航、夏銮等率湘军水师下驶抵御，轻敌中伏。陈辉龙、褚汝航、夏銮先后受伤落水身亡。彭玉麟、杨载福驾驶舢板，奋力作战，韦俊等部方才退去。
因岳州之战亲点大炮、立毁太平军战船，清廷赏加彭玉麟同知衔，并赏戴花翎。湘军水陆环攻城陵矶，太平军韦俊等部作战不利，退向武昌。
彭玉麟、杨载福冒险至南岸与塔齐布、罗泽南商定，于次日水陆齐攻田家镇铁链，分船为四队：第一队专斩铁链；第二队抵御太平军炮船；第三队俟铁链斩断，冲江而下，攻烧太平军下游船只；第四队守护水师粮台辎重。12月2日。湘军水师孙昌凯等驾驶快船直达横江铁链前，椎断铁钩，抽去承链之船，烧起火炉，将铁链烧红后，即用大斧斫断。彭玉麟率舢板船猛攻太平军炮船，掩护孙昌凯等人的行动。铁链既断，杨载福率舢板小船顺流直下，直达武穴，然后纵火而上，将太平军水营四千多艘战船全部烧毁。次日，太平军自焚营垒，弃田家镇，东退黄梅。湘军趁胜追击，彭玉麟部进至九江府江面。12月18日，因攻破湖北田家镇，清廷赏同知彭玉麟巴图鲁名号。
咸丰五年（1855年），湘军水师攻打九江、小池口江面，太平军水营退至湖口。湘军水师营官萧捷三等率领两百多艘长龙、舢板冲入鄱阳湖内，被太平军切断归路。自此，湘军水师分为内湖和外江两部分。
为此，曾国藩命彭玉麟率外江水师尚存较好的七十余艘战船，以援鄂为名，驶赴沔阳州新堤修理。4月3日太，平军韦俊等部再占武昌，是为太平军三占武昌。8月24日，胡林翼、彭玉麟率部水陆齐进，攻打蔡甸。太平军退出蔡甸。8月27日彭玉麟督率湘军水师猛扑汉口，烧毁太平军船只三百余艘。当夜，太平军撤离汉口镇，彭玉麟督率湘军水师进入。9月4日，湘军内湖水师攻打湖口，统领萧捷三中炮身亡。湘军水师拟还沌口，途中遭遇太平军炮击。彭玉麟所乘战船桅杆折断，难以前进，形势危急。
此时，杨载福乘战船经过，彭玉麟急忙呼救，杨载福假装没听见，迅速离开。恰好彭玉麟部将成发翔驾驶舢板路过，彭玉麟跳进舢板，才逃过一劫。9月6日，曾国藩自九江回驻南康大营，札调彭玉麟前来江西统领内湖水师。因攻破湖北汉口镇、捦斩萧朝富等出力，清廷赏知府彭玉麟等。彭玉麟之前因伤回衡州原籍养病。曾国藩屡次催促他来江西统领内湖水师。于是，彭玉麟伪装成游学乞食者，敝衣徒步七百里，于此月间到达南昌。曾国藩命其统领内湖水师。
咸丰七年（1857年）10月25日，湖口战役打响。彭玉麟率湘军内湖水师分三队依次冲突出湖，杨载福率湘军外江水师至湖口，发炮声援。湘军内湖水师和外江水师，时隔两年半后，重新会合。10月26日湘军攻克湖口及对岸梅家洲。
咸丰八年（1858年）5月19日，彭玉麟、杨载福率湘军水师配合李续宾部湘军陆师，攻克九江府城。因克复江西九江府城，清廷赏加按察使衔道员彭玉麟布政使衔。
咸丰十年（1860年）6月21日，彭玉麟、杨载福率湘军水师，督韦志俊部陆师，攻克安庆外围重镇枞阳。10月26日，彭玉麟派部将成发翔等带领湘军水师，攻克江西都昌县。
咸丰十一年（1861年）3月28日，彭玉麟抵达下巴河，调度水师，成功阻止太平天国陈玉成部渡江南下。4月29日，清廷以彭玉麟补授广东按察使。9月28日彭玉麟、李续宜率部水陆齐进，攻克湖北黄州府。
同治元年（1862年）5月18日，彭玉麟率湘军水师，配合曾国荃部陆师，攻克安徽太平府。5月19日，曾国荃、彭玉麟率部水陆齐进，攻克长江天险金柱关。10月11日太平军自东坝拖出战船数百艘，布满固城、南漪两湖，彭玉麟率领湘军水师小划入湖作战。
同治三年（1863年），彭玉麟、杨岳斌率领湘军水师，进袭江浦。驻守江浦的太平军撤退。彭玉麟、杨岳斌率领湘军水师，攻克天险九洑洲。从此以后，湘军水师往来江宁上下，再无阻碍。11月12日，彭玉麟、鲍超率部水陆齐进，攻陷江苏高淳县。11月17日，彭玉麟、鲍超率部水陆齐进，攻克要隘高淳县东坝镇。11月22日彭玉麟、鲍超率部水陆齐进，攻克江苏省溧水县。至此，太平天国首都天京的所有物资补给线全部被切断。
同治四年（1864年），清军攻克天京，太平天国运动失败，清廷封彭玉麟一等轻车都尉世职，并赏加太子少保衔。
同治七年（1868年），彭玉麟会同曾国藩奏定长江水师营制。次年春回籍。
同治十一年（1872年），奉命巡阅沿江水师。彭玉麟上奏清廷，详酌长江水师事宜，认为将才宜慎选、积习宜力除、军政宜实讲、体制宜复旧。并认为长江水师不宜兼习弓箭。彭玉麟上奏清廷，为长江水师提督黄翼升申请开缺回籍养病。10月7日，彭玉麟在养心殿东暖阁接受同治皇帝及两宫太后的召对。慈禧太后问及长江水师利弊、筹防江海等事宜，彭玉麟一一作答。
同治十二年（1873年）1月6日，彭玉麟行抵瓜洲江岸，与新任长江水师提督李成谋面晤，将长江水师应办事宜商酌周妥，交代布置一切。11月5日彭玉麟巡阅长江完毕，回到衡州原籍。
同治十三年（1874年）5月7日，日军在台湾琅峤强行登陆，进攻龟山，被高山族人据险击败。长江水师进入战备状态。
光绪元年（1875年），彭玉麟上奏清廷，认为欲图自强，需从清吏治、严军政、端士习、苏民困四个方面着手。
光绪二年（1876年），彭玉麟由衡州出发，巡阅长江。
光绪七年（1881年），署两江总督，再疏力辞，仍留督江防、海防。光绪九年（1883年），擢兵部尚书（次一品）。
光绪十年（1884年），中法战争爆发，奉旨赴广东办理防务。光绪十一年（1885年），法军进犯谅山，窥伺广西，率老将冯子材抗击法军。在镇南关、谅山一战，大获全胜，多次上疏主战，反对和议，疏中有“五可战，五不可和”之语。未几，和议已成，停战撤兵。
光绪十二年（1886），捐俸银一万二千两，建船山书院。
光绪十四年（1888年），扶病巡阅长江水师，至安庆后以衰病开缺回籍。
光绪十六年（1890）3月，病逝于衡州湘江东岸退省庵。追赐太子太保衔，谥刚直，于衡州原籍及立功省份建立专祠。
彭玉麟一生充满传奇色彩。早年是个书生，后投笔从戎，加入湘军。由于他在与太平天国军队的作战中骁勇善战，善于谋略，富于创新，咸丰三年（1853年），曾国藩让他创立了湘军水师，购买洋炮，制造大船，训练将士。第二年他率领湘军水师于湘潭败太平军，后随军攻陷岳州，在武汉、田家镇连败太平军水师。后来率湘军水师在湖口被石达开打败。于是整顿水师，配合陆军于大败太平军于樟树镇、临江等地。接着，率湘军水师攻占湖口、九江、安庆，升任水师提督兼兵部右侍郎。在攻占天京（今南京）的战役中，亲率水师策应曾国荃陆师沿长江东下，堵截天京护城河口。第二年他攻下江浦、九洑洲、浦口，断绝了天京粮道，成为攻陷天京的大功臣。
在剿灭了太平天国后，他一心扑在清军长江水师的建设中，为清军这支水师呕心沥血，鞠躬尽瘁。后来长江水师被李鸿章全盘接收，成为北洋水师最主要力量。彭玉麟成为近现代中国海军的创始人。
彭玉麟多才多艺，诗书画俱佳，他一生画了上万幅梅花图，在每幅梅花图都题上以梅花寄情的咏梅诗。这些号称“梅花百韵”的咏梅诗，寄托了彭玉麟一生对梅姑的爱恋、思念、牵挂、自己的愧疚和悔恨。他所画之梅堪为一绝。笔下的梅花“老干繁枝，鳞鳞万玉，其劲挺处似童钰”，被称为“兵家梅花”，与文人墨客的梅花相去甚远。他画的梅树，身姿虬曲，铁骨铮铮，古拙苍劲。枝间的梅花，吐蕊绽放，生机盎然。
特别是他的“墨梅图”更是冠绝，与郑板桥的墨竹齐名，被称为“清代书画二绝”。入选“衡阳民间国宝”的《墨梅图》就是一幅画梅杰作。该画以水墨绘一老梅蜿蜒横斜，上不见结顶，下不见根底，主干铁骨挺拔，周身苍皮藓苔，枯眼斑斑。虬枝曲折盘环，枝蕊参伍交错，给人以老树繁花、生机勃勃的感觉。画上题诗，让人更能体悟到“儿女心肠，英雄肝胆”的意境。
彭玉麟诗后由俞曲园结集付梓，题名《彭刚直诗集》（八卷），收录诗作500余首。2003年8月，岳麓书社整理出版《彭玉麟集》（全三册）
彭玉麟一生不慕名利、不避权贵、不治私产、不御姬妾。虽然一生六辞高官，却在国家危难之时，抱着年迈多病之躯，临危受命，抵御外敌。一生画梅吟诗，纪念与他相恋早逝的梅姑，痴情重义，终生不悔。在权贵当道、腐败之极的咸丰、同治、光绪、宣统年间，成为了一个罕见的清廉、正直、淡泊、重情重义的名臣。如他自己所述：“臣素无声色之好，室家之乐，性犹不耽安逸，治军十余年，未尝营一瓦之覆一亩之殖，以庇妻子。身受重伤，积劳多疾，未尝请一日之假回籍调治。终年风涛矢石之中，虽甚病未尝一日移居岸上”，“臣以寒士始，愿以寒士归”。
《清史稿》：①玉麟刚介绝俗，素厌文法，治事辄得法外意。不通权贵，而坦易直亮，无倾轧倨傲之心。历奉命按重臣疆吏被劾者，於左宗棠、刘坤一、涂宗瀛、张树声等，皆主持公道，务存大体，亦不为溪刻。每出巡，侦官吏不法辄劾惩，甚者以军法斩之然后闻，故所至官吏皆危栗。民有枉，往往盼彭公来。朝廷倾心听之，不居位而京察屡加褒奖，倚畀盖过於疆吏。生平奏牍皆手裁，每出，为世传诵。好画梅，诗书皆超俗，文采风流亦不沫云。②彭玉麟、杨岳斌佐曾国籓创立水师，为灭贼根本。两人勋绩，颉颃相并。岳斌后为朝旨强促西征，用违其才，偾事损望。玉麟终身不任官职，巡阅长江，为国家纾东顾之忧。其疏论古人晚节之失，由於不能自藏其短，且惜朝廷不善全其长，洵至言也。后盛昱劾其辞尚书之命，乃谓抗诏鸣高，殆浅之乎测玉麟矣。
胡林翼：忠勇冠军，胆识沉毅。
左宗棠：①论治军之严肃，彭视杨（载福）为优。②出处进退缓急，罔不心安理得，求之古大臣中，尚不多见，何论今人？③劾治多人，严正之概，谋虑之忠，足式百僚。
李鸿章：①老彭有许多把戏。②杨（岳斌）心细胆略均在彭上，肃清长江实伊之功，用之江海较宜。③不荣官府，不乐室家，百战功高，此身终以江湖老。无忝史书，无惭庙食，千秋名在，余事犹能诗画传。
张之洞：①加官不拜，久骑湖上之驴；奉诏即行，誓翦海中之鳄。②神州贯长江，其南际涨海。江海幸息浪，砥柱今安在。③五年前瘴海同袍，艰危竟奠重溟浪；二千里长江如镜，扫荡难忘百战人。
曾国荃：下为河岳，上应日星， 一旅起衡湘，志量不居三代后身在江湖，心存魏阙，大勋垂宇宙，忠清无愧九重褒。
俞越：①咸丰、同治以来诸勋臣中始终餍服人心，无贤不肖交口称之，而无毫发遗憾者的唯一一人。②勋业在天下，声名在柱下。③公性豪迈，善饮；喜讌客，而自奉至薄。不御肥甘，旁无姬侍，惟一、二老兵给事其旁。遇部下旧将，若布衣昆弟；而纪律极严。④人之生直，其为气刚；刚则近仁，直大以方。明明天子，知公特详；锡此二字，纪于太常。公之故旧，私议其旁；情性似矣，功业未彰。岂知功业，非公独长；即在当时，并称彭、杨。至于性情，日月争光；睥眤宇宙，笑傲侯王。直如矢笴，刚若箭鋩。
易宗夔：彭雪琴力崇俭朴，偶微服出，状如村夫子。巡阅长江时，每赴营官处，营官急将厅事陈设之古玩及华焕之铺陈，一律撤去，始敢迎入。副将某以千金购玉钟，闻公至，捧而趋，砰然坠地。公见之，微笑曰：“惜哉!”副将悚服，不敢仰视。曾饭友人处，见珍馔，辄蹙额，终席不下箸，惟嗜辣椒豆腐。有人谒之于西湖“退省庵”，公衣茧绸袍，加羊毛外褂，已裂数处，冠缨作黄色。室中除笔砚外，惟竹簏二事。久之，命饭，园蔬数种，中置肉一盘而已。
李篁仙：长江数千里之间，论荆楚将才，惨淡功名全在水；危崖百十寻以上，对梅花片石，轮囷肝胆尚思
黄体芳：于要官、要钱、要命中，斩断葛藤，千年试问几人比；从文正、文襄、文忠后，开先壁垒，三老相逢一笑云。恽炳孙：其为气至刚，从孟氏得来，斯称善养；人之生也直，经孔门论定，不惭古愚。
王闿运：诗酒自名家，看勋业烂然，长增画苑梅花色；楼船又横海，叹英雄至矣，忍说江南血战功。
王凯运：常患咯血，乃维纵酒。孤行畸意，寓之诗画。客或过其扁舟，窥其虚榻，萧寥独旦，终身羁旅而已。不知者羡其厚福，其知者伤其薄命，由君子观之，可谓独立不惧者也。
郭嵩焘：收吴楚六千里，肃清江路之功，水师创立书生手；开国家三百年，驰骋名扬之局，亮节能邀圣主知。
陈士杰：同侪只几辈仅存，那堪雾暗星沉，南岳又惊奇士殒；隔岁向三潭小住，际此风和日丽，西湖应盼主人回。
周崇傅：曾侯之正，左傅之刚，惟公鼎足其间，中兴大业三人杰；宏景无才，长源无识，折我私心所仰，南岳诸峰一老臣。
李瀚章：得祖豫州之直，得刘并州之刚，每思击楫中流，慨旧雨凋零，江左功名成一恸；于曾文正则师，于左文襄则友，总是昔时同泽，望衡云黯谈，中兴人物并千秋。
吴熙：先声震朔漠炎荒，疆寄虽辞，边防终赖，谁敢当江海楼船，持节任优游，于今古名臣列传中，创格独新，要不外退省为怀，战战兢兢无坠志；余力辟东洲讲舍，十年树木，万卷藏书，已非复关山戎马，骑箕犹眷恋，原二三豪杰为时出，通经致用，以仰答爱才如命，勤勤恳恳之深心。
王之春：洁清方文靖，劳瘁似武乡，高尚绍邺侯，丰裁超忠介，使车持节，犹是布衣。当年爵禄频辞，岂忘天下乐忧、民间疾苦。荩臣捐性命，自甘剑浙矛炊，迨至国狗全歼，狂鲸永息，东南奠定，中外安攘，置酒方歌风，何遽大地陨星，又弱一个；伟业著鄱湖，芳踪留浙水，勋名垂粤峤，遗爱遍长江，兵法传薪，实难负担。畴昔戎机参赞，曾以干城属寄、国士相期。知己感生成，愿倚泰山北斗，谁料灾缠二竖，梦兆两楹，甲马辰飞，酉鸡夜变，无缘再立雪，愧未于场筑室，独居三年。
高鹏年：南岳西泠，大地茅庐两个；吴头楚尾，中流砥柱一人。
徐琪：①当年文酒追陪，花木池台，曾见我公亲手定；此日湖山供养，馨香俎豆，可知旧地去思多。②半生血战，助恢廓中原，至今江表威名，妇孺皆呼老宫保。九陛恩纶，识忠清盛德，他日专祠遗像，须眉犹是旧诗人。③酌水励清操，殷勤千里廉泉，犹助春波润蓬液。故乡留胜迹，惆怅三潭夜月，更无仙梦到梅花。
唐树森：①帝命重巡江，五千里浪静波平，更播威名到南海；臣心如止水，十二桥月明风谈，长留灏气在西湖。冯唐易老，雍齿且侯，三字故将军，匹马短衣春射虎；左抱宜人，右弄孺子，孤山林处士，芦帘纸阁夜谈龙。②斯真河岳英灵乎？以诸生请缨投笔，佐曾文正创建师船，青幡一片，直下长江，向贼巢夺转小姑山去。东防歙婺，西障湓浔，日日争命于锋镝丛中，百战功高，仍是秀才本色，外授疆臣辞，内授廷臣又辞，强林泉猿鹤，作霄汉夔龙。尚书剑履，回翔上接星辰；少保旌旗，飞舞远临海澨，虎门开绝壁，岩崖突兀，力拒重洋。千载后过大角炮台，寻求故迹，见者犹肃然动容，谓规模宏壮，布置谨严，中国诚知有人在。
陈彝：何以吊孤忠，有正气一歌、出师二表。斯人竟千古，剩西湖水碧、南岳峰青
沈秉成：天上将军，比伏波战舰、下濑戈船，晚年缓带轻裘，犹为九边资坐镇山中宰相，想衡岳瞻云、圣湖泛月，此后啼猿唳鹤，空传十赉在人间。
陈士杰：同侪只几辈仅存，那堪雾黯星沉，南岳又惊奇士殒隔岁向三潭小住，际此风和日暖，西湖应盼主人回。
奎斌：能让高位，闻危事则不辞，完一世功名，是谓真廉兼大勇最爱苍生，遇奸人则必剪，问后身因果，若非菩萨便金刚
许振祎：江湖遥领老尚书，洒泪飞腾为从古，上将元勋，别开生面。天壤如公真国士，忠清刚毅赞中兴，平夷荡寇，特立长城。
苏元春：是衡岳间气所钟，百战余生，依旧驰驱劳国事当海上虏氛未靖，九原遗憾，还应慷慨策边防。
丁义方：：公比武乡侯，讨贼筹边，赢得大名垂宇宙。我事文中子，感恩知己，难禁老泪洒江滨。
樊琅圃森：大业著中兴，是良将、是名臣，湘乡以还，此为元老秀。才任天下，亦江湖、亦廊庙，希文而后，仅见斯人。
欧丽先谦：紫光阁毛发一新，问凌烟功臣，可有此癯仙面目。黄龙府泪痕犹在，只西湖明月，还照著铁石心肠
谭炳章：海外尚风烟，知公犹抱过河憾。门前数桃李，剩我忝为筑室人。
柳均煦：品似范希文，当为秀才时，即任天下。心同岳少保，行到黄龙府，痛饮诸君肝胆英雄，书画寄余闲，一颗图章留本色根柢秀才，勋猷元老，河山资保障，千秋史笔有灵光
刘思训、思谦：起家杀贼，垂老筹边，三十年林下尚书，望杨柳旌旗，留得清风动江渚。冰铁须眉，神仙标格，一万幅人间图画，问梅花消息，顿惊明月冷孤山。
唐浩明：古往今来，有多少人求官、跑官、钻官、买官，又有多少人为了升官，什么卑鄙无耻的事都干得出，还有多少人或颟顸无能，或老迈病弱，却依旧占着一个职位不放。像彭玉麟这样一生辞谢六项崇职要缺，甘愿做苦役实事，甘于做普通百姓的人，衡之古今官场，实在是凤毛麟角，难寻难觅。”
