沈家祖居河南，南宋时迁居到浙江，雍正年间沈氏家族中的一支继续南迁至福建侯官。
嘉庆二十五年（1820年），沈葆桢出生于贫苦的读书人家庭，父亲沈廷枫以教书为业，亦是贫苦的私塾先生。靠每个月微薄的收入养家糊口。母亲林惠芳娴熟勤快，不但终日替别人做女红补贴家用，而且还负责了沈葆桢童年时代的教育。她的教子方法独特、直接而有效，首先克服小幼丹的一些缺点，然后再教习《三字经》、《百家姓》等启蒙读本，教授的过程并非按书诵读而是常常讲解原因。
沈葆桢是舅舅林则徐阁楼上书房的常客，在这里，他览阅了许多古今中外的名作，在与舅舅的交谈中也开始对“洋务”二字产生了最处的了解。他也经常把自己从书中得到的想法告诉舅舅，在一次谈话中，他表达了对兴办洋务的看法。
道光十六年（1836年），16岁的沈葆桢考取秀才。道光二十年（1840年），沈葆桢和老师林昌彝同榜考中举人，这年沈葆桢刚好20岁。此时，第一次鸦片战争爆发，不久，担任两广总督的舅舅林则徐被朝廷革职查办。这年在双方父母的主持下沈葆桢和小他一岁的表妹林普晴完婚。（林普晴，林则徐的次女，十岁时和沈葆桢订婚。）
道光二十一年（1841年），沈葆桢赴京赶考，落第。道光二十四年（1844年），沈葆桢与父亲沈廷枫一同上京赴秋闱，父子二人都没能考中，父亲发誓永不再考科举，回乡继续教书。沈葆桢年富力强，决心背水一战，再苦读三年，再试。道光二十七年（1847年），沈葆桢中进士，选庶吉士，授编修，升监察御史。
咸丰四年（1854年），补江南道监察御史，一年后调贵州道监察御史。咸丰五年（1855年），沈葆桢出任江西九江知府。
咸丰六年（1856年），朝廷擢升沈葆桢为杭州知府，然而沈葆桢以祖上曾在杭州居住，杭州亲戚过多为由推辞而改任地处偏远的江西广信（今江西上饶）知府。这时侯，太平军已两次攻打江西，占领了八府50多县，朝廷只剩南昌、饶州、广信、赣州、南安五郡，整个江西的局势岌岌可危。 八月，江西太平军将领杨辅清率万余人向清军发起了进攻，连克泸溪、贵溪、弋阳，进逼广信城。当时，沈葆桢正陪同工部右侍郎廉兆伦外出征办军粮、军饷。广信城里的400守军，闻弋阳失守，纷纷遁逃。城里只剩下知县、参将、千总和知府夫人林普晴，他们组织百姓紧逼城门，誓死坚守。在危急关头，林普晴显示了将门名臣之女的风范和气节，一边鼓舞百姓，一边派人向林则徐以前的部下，驻扎在浙江玉山的提督饶廷选求援。第二天沈葆桢赶回了广信，不久援兵也至。在同饶廷选商议之后，采取了攻其不备，袭扰辎重的战术，七战七捷，打退了杨辅清的进攻。经此一役，沈葆桢扬名官场。
咸丰七年（1857年），升任江西广饶九南道，三月，石达开攻打广信，沈葆桢、饶廷选率守军顽强抵抗，激战数日，石达开败走浙江。咸丰九年（1859年），沈葆桢以父母多病，请求离职回家探望。已经整整十五年没有回家了，家乡的日子带给他的不仅是快乐和回忆，更是难得的清闲和松弛。咸丰十年（1860年），重又被起用，授吉赣南道道台，沈以父母年老而婉辞。于是被留在原籍办团练，曾国藩很是赏识。咸丰十一年（1861年），曾国藩请他赴安庆大营，委以重用。不久，推荐他出任江西巡抚，倚用湘军将领王德标、席宝田等镇压太平军，
同治三年（1864年），捕杀太平天国幼天王洪天贵福、洪仁玕等。同治四年（1865年），沈母去世，沈葆桢离官回乡丁忧。
同治五年（1866年）春，左宗棠升任闽浙总督，行辕设在福州。八月，朝廷批准了左宗棠关于设轮船制造局的奏折，决定在马尾江的三岐山下建设船政局，即以后的福州船政局。十月，左宗棠因陕西回民起义，调任陕甘总督，行前力荐丁忧在家的江西巡抚沈葆桢接手船政，并亲自到宫巷请沈葆桢出山。然而，左宗棠两次探望沈葆桢时都被沈以“重孝在身”推诿了。
同治六年（1867年），接替左宗棠任福建船政大臣，主办福州船政局。当时，正是举办洋务运动时期，左宗棠在福建福州马尾创办造船厂，尚未来得及开工，就被调往陕甘任陕甘总督。临行前左宗棠上疏说：非沈葆桢不能任其职。所以沈葆桢一上任即建船坞及机器厂，并附设艺童学堂。造成船舰20艘，分布各海口。同治七年（1868年）正月，又创办艺圃，学制5年，培养监工人才。
同治十三年（1874年），日本以琉球船民漂流到台湾，被高山族人民误杀为借口，发动侵台战争。清廷派沈葆桢为钦差大臣，赴台办理海防，兼理各国事务大臣，筹划海防事宜，办理日本撤兵交涉。由此，沈葆桢开始了他在台湾的近代化倡导之路。
19世纪六七十年代，外国资本主义列强纷纷从四面八方向中国边疆侵逼，造成中国边疆的普遍危机。尤其对于台湾，先后就有美、日、法的先后入侵，造成台澎地区和东南沿海的严重危机，成为当时边疆危机的一个组成部分。尤其以日本最为凶狠。经过明治维新后的日本迅速走上军国主义的道路，表现出对外关系上的极大侵略性。它首先把目光投向邻近的中国，对台湾怀有觊觎之心。
同治十年（1871年）十二月，有琉球贡船两艘遇风漂至台湾，其中54人被高士佛、牡丹两社居民杀害，另12人逃脱得救，被中国政府由福州转送回国。那时日本政府为了缓和日益尖锐的国内矛盾和由“征韩论”所引起的政治危机，正在酝酿对外发动战争，决计抓住这一事件作为出兵的借口。
同治十三年（1874年）四月四日，日本正式设立侵台机构―台湾都督府，并组成征台军。五月十日，日陆军中将西乡从道率3600多人在台湾琅峤登陆，其攻击目标主要是牡丹、高士佛两社。十八日，日军开始与当地居民交锋，二十二日攻占石门，牡丹社酋长阿禄父子等阵亡。六月初，日军1300余人分三路进攻并占领牡丹社，十三日进占龟仔角社。七月中，日军已完成对各社的征讨、诱降，并以龟山为基地建立都督府，修筑医院、营房、道路，并向后山南北各处番社分发日本国旗，准备久踞。
清政府起初对日本的一系列侵台活动毫无所知，直到四月十九日通过英使威妥玛才始知此事。五月十一日，清照会日方诘责，并于十四日下令派福建船政大臣沈葆桢为钦差大臣，率领轮船兵弁驰往台湾，并授予他处理日本侵台事件的军事外交大权。
六月中，沈葆桢到台后，一面向日本军事当局交涉撤军，一面积极着手布置全岛防务。他在府城与澎湖增建炮台，安放西洋巨炮；在安平厦门间装置海底电线；增调淮军精锐武毅铭字军13营6500人入台，部置于凤山；陆上防务北路由台湾镇总兵负责，南路由台湾兵备道负责，海上防务，以扬武、飞云、安澜、清远、镇威、伏波六舰常驻澎湖，福星一号驻台北，万年一号驻厦门，济安一号驻福州；同时大力开通部落地区的道路，并派员招抚各处“番社”。清政府也相继运来洋炮20尊，洋火药4万磅，火药3万磅，士气民心为之大振。这些措施渐次推展开来，形成相当的声势，使日军不能不有所顾忌。
这时候，台南南部恶性疟疾流行，侵台日军因气候炎热，水土不服，疾疫流行，每日死者四五名至数十名，士气极其低落。在进退维谷、内外交困的形势下，日本不得不寻求外交解决的途径。日方全权代表大久保利通偕顾问李仙得于是年九月到达北京，在前后七次谈判中，日方仍坚执日本进兵的是“无主野蛮”之地，对此清政府予以严厉驳斥。大久保利通认识到，只有在清政府所坚持的“番地属中国版图”的前提下，才能和平解决日本侵台问题。当时清政府的内政外交也存在很多困难，于是在英、美、法三国出面调停下，清政府决计让步，同治十三年（1871年）十月三十日签订了《中日台湾事件专约》（《北京专约》）三条，除以“抚恤”及付给修道建屋费用为名偿银50万两外，约中有“兹以台湾生番曾将日本国属民等妄为加害”之语，日本出兵乃为“保民义举”，实际上等于承认琉球为日本的属国。日军于同治十三年（1874年）十二月一日撤出台湾。
日本入侵台湾是对中国在台湾的主权和领土完整的一次挑战，对中国来说，这是一次严重的边疆危机。清政府认识到自己的海防空虚，必须急起补救。光绪元年（1875年）四月，清廷发布上谕，派李鸿章督办北洋海防事宜，沈葆桢督办南洋海防事宜，中国近代海军的建设从此走上轨道。
促使清政府检讨其治台政策的利弊得失另一个重要方面是，认识到危险主要来自于外部而并不是内部。过去清政府认为，“台湾之患率由内生，鲜由外至”。外国的侵略，使官员们开始重视台湾，把它称为“七省门户”、“南北洋关键”、“中国第一门户”。沈葆桢、丁日昌一再奏请对日本侵台应加严密设防，总理衙门也指出“经营台湾实关系海防大局”，这是对台湾地位的一种新认识。在这方面感受最深、变革最力的是沈葆桢。沈葆桢守住台湾后，立即着手进一步的开发，实施了开禁、开府、开路、开矿四大措施。
光绪元年（1875年），沈葆桢撤军内渡，同年奉旨进京，升任两江总督兼南洋通商大臣，督办南洋海防，扩充南洋水师，并参与经营轮船招商局，派船政学堂学生赴英法留学。
光绪五年（1879年）十一月病逝在江宁任上，享年60岁。派遣优秀学员出国留学是他晚年对近代中国的又一重大贡献。这些出国深造的人员不乏严复、詹天佑之辈，他们后来成了近代中国各个领域的专家，对推动中国近代社会的进步起了巨大的作用。
沈葆桢对海防建设培养海防人才。马尾船政局创立了中国第一所海军学校马尾前、后学堂。左宗棠、沈葆桢把培育海军人才作为“师夷”之根本，其宗旨是为近代海军输送具有专门知识的各类人才。船政学堂对学生要求非常严格，不但培养出许多近代工业的工程技术人员，还向中国近代海军输送为数众多的将才。
沈葆桢建立起中国第一支近代海军舰队，初步改变了中国有海无防的被动局面。至同治九年（1870年），福建船政已制定四艘兵轮，加上从外国买来的三艘军舰，沈葆桢经奏准将这七艘军舰编练成队，称为"船政轮船"，中国近代第一支新式舰队从此诞生。
对船政事业，沈葆桢坚持“主权在我”的原则。认为“购置者权操于人，何如制造者权操诸己。”为了引进西方先进的科学技术，船政局聘用了不少洋员、洋匠及教师。对待这些洋人，在经济上船政局给其优厚待遇，在政治上却是寸权不让，坚决奉行“权自我操”的政策。沈葆桢对洋人赏罚分明，不仅论功行赏，也量过行罚。对不服从领导者予以开除，令其回国。
同治八年（1869年）六月十日，在沈葆桢的苦心经营下，在全体船政员工的共同努力下，马尾船政局自行制造的第一艘轮船“万年青”号完工下水。该船系木壳蒸汽轮船，船身长238尺，宽27.8尺，吃水14.2尺，排水量1370吨，载重450吨，螺旋浆推进，备有风帆助力，航速10节。九月二十五日，沈葆桢登船试航试炮成功，标志着历经艰辛的中国近代海防工业，开始起步。总之，沈葆桢在船政创办之初，面对新兴的事业，面对西方列强与顽固守旧派种种干扰，以强烈的民族责任感排除一个又一个障碍，在坎坷的近代工业化道路上前进。
同治十三年（1874年），日本入侵台湾，东南海疆出现危机，清廷大为震惊。清政府即命沈葆桢“以巡阅为名，前往台湾生番一带察看，不动声色，相机等办”。当消息证实后，清政府深感事态严重。同治帝遂正式任命沈葆桢为钦差办理台湾等处海防，东渡台湾，处置日本侵台事件。沈葆桢分析了中日双方形势，认为日军有可能扩大侵略范围，高山族山胞是敌不过手持洋枪洋炮，训练有素的日军。而台湾首要任务是加紧军事部署。他既反对“一味畏葸，只图置身事外，不恤贻患将来，”也反对“一味高谈，昭义愤快心，不妨孤注一掷，于国家深远计均无当焉。”
同治十三年（1874年），由于日寇侵略台湾，派兵占台南琅硚、牡丹等地，清廷委任沈葆桢为钦差大臣，督办台湾军务，并兼理各国通商事务。沈葆桢到了台湾，积极加强战备，坚守城池，不久就迫使日寇知难而退，“遵约撤兵”。沈葆桢守住台湾后，立即着手进一步的开发，实施了开禁、开府、开路、开矿四大措施。
