胡林翼出身官宦之家，其父胡达源曾以一甲第三名进士及第，直接入翰林院，授编修。后官至詹事府少詹事，为四品京堂。正因为此，胡林翼从小受重视，得到了较好的教育，并有不少奇遇。六岁时，他爷爷教他认字，读《论语》。八岁时，爷爷在益阳修志馆编修志书，他随侍在侧。刚好将赴任川东兵备道的陶澍顺路回老家益阳探亲，一见到胡林翼，就惊为伟器，说：“我已得一快婿”，遂订下娃娃亲，将自己五岁的女儿许配给他。十九岁时，胡林翼与陶澍之女琇姿（字静娟）在桃花江陶氏别墅完婚。婚后，他师事同里蔡用锡前辈。他教书“务为有用之学，不专重文艺，而于兵略、吏治尤所究心”。胡林翼“师事两年，涵濡渐渍，服膺终身”。二十一岁时，胡林翼偕夫人送岳母贺夫人去南京陶澍两江总督任所。陶澍是促成嘉道年间经世之学重新活跃的代表人物，办事干达，政声极佳。留居节署一年，胡林翼亲见陶澍兴利除弊措施，深受熏染，“精神殊为一变”。在给父亲的信中，他写道：“岳丈公退之余，辄与男长谈。岳丈胸中本极渊博，加以数十年来宦途阅历，上下古今，融会贯通，每及一事，旁证曲引，判断洞中窃要，于男进益，非浅鲜焉。”
江南一行，胡林翼收获很大。从此，他“于书无所不读，然不为章句之学，笃嗜《史记》、《汉书》、《左氏传》、司马《通鉴》暨中外舆图地志，山川厄塞、兵政机要，探讨尤力”。除了耳濡目染经世之术外，在此期间，胡林翼还得到了躬行实践的机会。
1831年（道光十一年）五月，沅湘大水，益阳受灾严重，饥民流离失所。时在家受学的胡林翼担心饥民无食一变而为乱民，慨然曰“秀才便当以天下为己任”，挺身而出，面见县令，“请按灾区编户口，劝富民出钱粟以赈”。他还提出具体的救灾方案，即令遭灾各处保甲根据贫富情况造户口册，分上、中、下三等，上户不管，中户可减价买米，下户免费给米，限期一个月。为监督保甲，防止其舞弊，胡林翼建议“选本地士绅协同办理，一以镇地方，一以免保甲之欺罔”。鉴于劝捐遭富民抵制，十数日无动静，他愤不可遏，不得不“一出倡之”，首先请岳父家捐出两千两银子以作表率，然后对其他富民苦口婆心劝导，“以至诚感之，以大义责之，以危言动之，以赏劝诱之”，终于使大家踊跃捐款，立致数万金。“已而，散米表食，全活甚众”。当时，胡林翼年仅二十岁。在给爷爷的信中，他详细叙述此事经过，说：“此事出于孙之意，见无一人赞之，但沮之者不下十数人。而孙自以为泰山崩于前而不动，麋鹿奔于左而不顾，亦可谓毅然不移矣。”
道光十六年中进士，被选为庶吉士，授编修。1840年先后充会试同考官、江南乡试副考官。1846年以知府分发贵州。其实他这个贵州地方官是通过捐纳而来的。原来胡林翼丁忧起复后，觉得在京候缺补官，上升的空间不大，而其学生也认为他才气过人，做地方官更能有所建树，所以就凑钱给他捐个知府。根据当时捐例，捐纳为官可以自主择地，胡林翼本可以选择一个发达的地方，挑个肥缺做官。但他是正途出身，曾官清要，捐纳为官已让他蒙羞，所以宁愿到边远之地，以区别于那些输金为吏者。在给弟弟的信中，他就直言不讳地说：“天下官方，日趋于坏。输金为吏者，类皆择其地之善者，以为自肥计。黔，硗瘠之所，边僻之境也，为人所掉首而不顾者。然兄独有取于黔者，诚以黔之官吏尚能奉上以礼不以货，以礼则知自重，不以货则知恤民，而治理庶几可冀。”而对于友人的不解，他则解释说：“某之出，资用皆他人助成之……某初为政此邦，贫瘠或可以保清白之风，而不致负良友厚意。”赴任前，他还“遍谒先茔，誓不取官中一钱自肥以贻前人羞”其后历任安顺、镇远、黎平知府及贵东道。在任时，强化团练、保甲，镇压黄平、台拱、清江、天柱等地苗民起义和湖南李沅发起义。胡林翼文武双全，且能诗能文，主张“用兵不如用民”，“用兵”只能治标，收一时之功，“用民”才是治本，享长久安定。胡林翼在贵州安顺知府任上，立志安定一方。他经常芒鞋短衣，深入群众摸民情探匪情，带领官兵与盗匪作战数百次，积累了丰富的作战经验，编成了《胡氏兵法》。
1854年（咸丰四年）擢贵东道员，奉调带勇赴湖北、湖南抗击太平军。曾国藩以其“才大心细”加以奏保，并令其自领一军，随同作战。
1855年1月29日，湘军水师120条轻便战船冒险冲入鄱阳湖，上驶姑塘，被太平军阻截于湖内，从而使长江内的大型战船，失去轻便战船的护卫与配合，战斗力顿减，湘军八里江水师老营当天即遭太平军水师的火攻，船只被焚40余号，余船纷纷逃回九江。2月11日，九江官牌夹水营又遭太平军夜袭，曾国藩的坐船被焚夺，文案全失，险些丧命，余船也纷纷上驶溃逃。太平军乘胜转入全线反攻，2月23日占汉阳、武昌。曾国藩转守南昌。胡林翼也被迫撤离九江外围，回援武昌。他带勇1800人于3月6日驻营沌口。4月3日，武昌失守，巡抚陶恩培被杀，清廷以胡林翼署湖北巡抚，与道员李孟群所部水师共守金口。由此开始了长达年余的围困武昌之战。
胡林翼受命署理湖北巡抚后，在军事上开始独当一面。他选将练兵、整顿部队，同年5月1日，他督部逼武昌城外。17日，督攻武昌的沙洲。27日，出动水陆师合攻武昌，进战均不利。6月10日在水师配合下，派副将王国才率部攻汉阳，他自率所部攻武昌。太平军知其金口大营空虚，绕道袭金口，迫使他退回金口老营。
当胡林翼率部进攻汉口、汉阳之际，9月12日，太平军兵分六路进攻金口，清军大败，陆营纷纷溃散，水师退守新堤。由于大营失陷，胡林翼被迫自汉阳损口退往奓山。18日，太平军又分八路来攻，胡林翼所部陆营由于欠饷太多，无心作战，纷纷溃散。
胡林翼所部接连溃散，促使他下决心裁汰旧勇。他遂从水师挑派都司鲍超前去湖南，另募新勇3000人，与此同时，又奏调遣员罗泽南部湘军自江西来援，以救燃眉之急。
10月，罗泽南率5000人自江西义宁来援，连占通城、崇阳，胡林翼率部前往迎接，共同攻下蒲折。又协同援军击败太平军韦俊、石达开部，收复咸宁城。乘胜攻武昌，屡战皆捷。
1856年4月6日，武昌太平军因援兵开到，兵力得到加强，遂洞开城门，多路出击，对清军展开强大的反攻。胡林翼、罗泽南被迫进行抵抗。此时，罗泽南求胜心切，企图乘机攻入城内，占领武昌，以便迅速回援江西。结果被太平军炮弹击中头部，于五天之后毙命。罗泽南死后，由其部下知府李续宾接统其军。
1856年7月，石达开于参加一破江南大营之后，率部自天京上援武昌，进入湖北后，便兵分四路，对武昌清军取大包围之势。8月18日，石达开部抵达武昌近郊鲁家巷，战事又趋紧张。正在这时，太平天国天京爆发了内讧，杨秀清及其僚属数万人被杀。9月上旬，石达开即率部回天京靖难，武昌外围的军事压力解除，胡林翼得以添募兵勇，深浚长濠，严密围困武昌。
1856年12月，武昌被围日久，外援渐绝，粮食、弹药俱形匮乏，加之洪秀全将韦昌辉处死，武昌太平军主要守将韦俊深恐株连，已无心再守。19日夜，乃洞开城门，七道并出，突围他走。汉阳太平军也同日撤出。胡林翼乘机占领武昌、汉阳，并以日行800里的速度向朝廷奏捷。朝廷也以武昌克复，实授胡林翼湖北巡抚、赏戴头品顶戴。
胡林翼占领武昌之后，立即水陆东下，对太平军实施追击，旬日之间，连克武昌县（今鄂州市）、黄州，大冶，蕲水，兴国（今阳新）、广济、黄梅，湖北境内无太平军踪迹。于是令李续宾率军9500人进围九江，江宁将军都兴阿、杨载福、鲍超率6000人，屯九江对岸要隘小池口，而自居武汉，与湖广总督官文通筹全局，整饬湖北军政吏治。
1857年，太平军年青将领陈玉成，统率大军自安徽入湖北出英山，直插蕲水，然后回军广济、黄梅，威胁围困九江、小池口的湘军后方。胡林翼于是亲自赶赴黄州督师。9月11日，知府李续宜部败太平军于蕲水马家河，将太平军再度赶出湖北境内。10月2日攻占九江对岸要隘小池口，为攻占九江创造了条件。当天，胡林翼到九江城外，与都兴阿、李续宾、杨载福“会商进取之策”，确定再先取湖口，进一步切断九江太平军的外援。18日，胡林翼返回武昌。
1858年3月30日起，胡林翼部由李续宾、杨载福督军围攻九江，占领全城，九江太平军守将林启荣战死。胡林翼因调度有方，赏太子少保衔。
1859年，胡林翼又会同曾国藩、多隆阿、鲍超等部击败太平军石达开、捻军张洛行、龚瞎子联军。攻克太湖城，收复潜山。后曾国藩授两江总督，督师，于1861年8月攻克安庆，曾国藩推胡林翼为首功，加太子太保衔，给骑都尉世职。
1861年8月30日，胡林翼病死（死因据说为见洋船往来江上迅捷如风，即忿而吐血）武昌。赠总督，谥文忠。
晚年致力于教育，主讲长沙城南书院，创办湖南益阳箴言书院，咸丰、同治年间，他从自己的俸禄中购置图书1337种，36261卷，其中经书444种7048卷；史书232种，16320卷，碑贴195种117卷。把他的全部藏书都运到箴言书院，供师生阅读。其中有宋元本古籍数种，乾隆刊本《陕甘通志》一套33册，现部分图书归于湖南图书馆收。著《读史兵略》，所遗奏稿、书牍辑为《胡文忠公遗集》。
著《读史兵略》46卷，奏议、书牍10卷等，辑有《胡文忠公遗集》。曾绘制《大清一统舆图》，为中国早期较完整的全国地图。所著《保甲团练条约》及《团练必要》诸篇。胡林翼在贵州安顺知府任上，积累了丰富的作战经验，编成了《胡氏兵法》。
李慈铭：“老谋深识，烛照不遗，固中兴第一流人。”
王闿运：“中兴之业，实基自胡。”
曾国藩的幕僚欧阳兆雄、朱孔彰说胡曾是“纨绔少年”，“常恣意声伎”；胡的幕僚徐宗亮也说他“少年有公子才子之目，颇豪宕不羁”。
沈卓然：“世徒知曾、左之贤，而不知胡文忠固在曾、左之前。盖胡公之学与才，实无逊于曾、左；而于政治、文章、经济、军事，固无所不学，无所不致其用也。更考其生平，不独坐镇武昌，坚守不摇，以扼形势之要；且于课厘馈饷，擘画尽善，遂使当时诸军无饥馁之扰，克奏中兴之业。由此而论，允推功首。即其察吏安民，兴利除弊诸政，亦皆大端，足为后世之法式。”
慈禧：“林翼未竟全功，遽就溘逝，迹其功勋卓越，名播寰区，至今江、鄂士民称颂。”
蔡锷：“曾胡两公，中兴名臣中铮佼者也，其人其事距今仅半个世纪，遗型不远，口碑犹存。”
赵尔巽主编《清史稿》：“林翼负才不羁，娶总督陶澍女，习闻绪论，有经世志。”后又论：“骆秉章休休有容，取人为善。胡林翼综覈名实，干济冠时。论其治事之宽严疏密若不相侔，而皆以长驾远驭，驱策群材，用能丕树伟绩。所莅者千里方圻，规画动关军事全局。使无其人，则曾国藩、左宗棠诸人失所匡扶凭藉，其成功且较难。缅怀中兴之业，二人所关系者岂不钜哉？”
梅英杰：“中外论者服公治行才望，相与欷歔慨叹，佥谓有清中兴之业，实基自公。”
蒋介石：“泊乎民国二年失败，吾再将曾国藩与胡林翼诸书集，悉心讨究，不禁而叹胡林翼之才识略见，确高出一世，实不愧为当时之名将。”
