1914年10月27日出生在福建省长汀县张屋铺（即今宣成乡）下畲村的一个贫苦农民家庭。
1920年上学，在村里念私塾。
1923年从私塾转到上杭县回龙圩教会小学，后来转入长汀县第一小学，毕业后考进长汀省立第七中学。
1928年加入中国共产主义青年团。
1929年1月，杨成武参加了闽西古城地方武装暴动并加入中国工农红军，任闽西红军第三路指挥部秘书、宣传队中队长。
1930年3月编入中国工农红军第四军第三纵队。同年他加入中国共产党。
1931年，杨成武任红四军第十二师秘书、连政委、教导大队政委。
1935年11月，红军长征到达陕北后，杨成武率红四团参加了吴起镇战役。在吴起镇镇战役中，红四团圆满地完成了任务。直罗镇战役后，部队进行了整编，杨成武任红一师政委。与师长陈赓率部东征胜利后，从红一师抽调到红军大学学习。
1937年抗日战争爆发后，杨成武作为“红大”第一期学员提前毕业，奔赴抗日前线。杨成武担任红一师师长。中国工农红军编为国民革命军第八路军，杨成武任八路军第一一五师独立团团长，长期在华北地区进行抗日斗争。在平型关战役中，杨成武率领独立团大胆深入敌后，隐蔽地插到腰站地区，切断了敌公路运输线，阻击了数倍于己的日军援兵，为兄弟部队歼灭平型关日军争取了时间。后来，独立团由1700多人发展到7000多人，奉八路军总部命令扩编为八路军独立第一师，杨成武任师长。其间，他率部收复了涞源、广灵、蔚县等7城。
1939年11月，在黄土岭战斗中，杨成武指挥部队乘夜展开，利用太行山北部群山中一座岬口，在敌人毫无察觉的情况下，将日军混成第二旅团包围，压缩在一条长约二三里，宽仅百十米的沟里，歼灭日军900多人，缴获200多辆满载军用品的骡马车，5门火炮，几百支长短枪及无数弹药，还生俘了十几个日本兵；战斗中，日军统帅阿部规秀中将被击毙。阿部规秀是日军侵华战争以来丧失的一个高级将领。
抗日战争后期，杨成武任晋察冀军区第一军分区司令员兼政治委员，冀中军区司令员，率领部队参加了抗击日军“五路合击”和百团大战。抗日战争结束后，杨成武率领冀中七、八、九分区的主力和六、十分区一部共11团，组成冀中纵队，杨成武任司令员。
1947年5月，晋察冀野战军建立了新的领导机关，杨得志任晋察冀军区第一野战军冀中纵队司令员兼任第二政委，与政委罗瑞卿一同率领野战军取得了许多胜利。清风店战役中一举歼国民党军主力部队1.4万多人，连同北线打援共歼国民党军1.8万多人。在历时25天的张家口战役中，杨成武所在兵团共歼灭敌人6.5万多人，俘敌将级军官13名。石家庄战役中，歼国民党军第三十二师、第三军炮兵营、保安第九团、第十团、保警队和还乡团总计2.4万多人。中共中央特电嘉奖，朱总司令称这一战役是“夺取大城市的创例”。
1948年11月，华北主力部队整编为3个兵团，杨成武担任第三兵团司令员，后又担任第二十兵团司令员。在华北解放的过程中，杨成武率领部队进军绥远，解放集宁、包头后，回师参加平津战役。太原战役第二阶段攻打太原城时，杨成武指挥部队，采取先穿插、分割，尔后集中兵力歼敌的战术，完成了战斗任务。
1949年9月，杨成武出席了中国人民政治协商会议第一届全体会议。中华人民共和国成立后，任天津警备区司令员，京津卫戍区副司令员、司令员。曾任北京市委常委，天津市委常委，中共中央华北局委员。
1950年，杨成武参加了抗美援朝战争，任中国人民志愿军第二十兵团司令员，入朝后的第一轮作战是反击联合国军试探性进攻和“特种混合支队作战试验”，率部参加了朝鲜东线的夏、秋季防御战役。文登川之战是二十兵团在仓猝接防的情况下，以劣势装备粉碎了美军以坦克为支撑，步、坦、空、炮协同的进攻，第六十七军3天共歼敌1.7万多人，重创了侵朝美军第七师，创造了朝鲜战场月歼敌最高纪录。
1958年杨成武参与组织指挥了炮击金门战争，1959年参与组织了西藏平叛作战，1960至1961年中缅堪境警卫作战，1962年参与组织了中印边境自卫反击作战和60年代中期开始的抗美援越战争。
1967年10月初，杨成武担任了中央专案组第二办公室主任。不久后即被林彪、江青一伙打倒了。
1968年3月22日深夜，邱会作和李作鹏奉林彪的命令，带领武装人员包围杨成武的住所，把他押解到人民大会堂，随后又拘禁了他的母亲、夫人、子女及妹妹、侄儿共11人。
1968年的3月底解放军代总参谋长杨成武将军因受林彪集团迫害，被秘密关押在香山寺。
1970年，将军78岁的母亲因病去世。
1971年1月，杨成武将军被释放。
2004年2月14日17时35分因病医治无效，杨成武在北京逝世，享年90岁。
