1905年（清·光绪三十一年）3月23日，甘祖昌出生于江西省莲花县坊楼乡桥头村。甘祖昌家庭贫穷，世代务农。6岁时，曾得舅舅接济，读过一年私塾。以后，即在家种田和为地主做应工（随叫随到）。
1920年（民国九年），坊楼在外地读书的青年学生陈竞进、谢运鹏等陆续返乡，创办了新城小学，并与朱绳武等成立了莲花县早期共产党组织，在家乡开展农民运动。他们发现甘祖昌忠实可靠，便吸收他参加农民协会的工作。
1925年（民国十四年）春，甘祖昌担任坊楼乡土改委员会主任，8月，调任莲花红色独立团军需处处长，后来又被派往井冈山红四军训练班学习。毛泽东在八角楼接见了甘祖昌，亲切地询问了莲花县武装斗争的情况，最后说：“我们的学习班办不成了，敌人要发动进攻。你回去告诉县委，要组织好红军和赤卫队，狠狠打击来犯的敌人，你们扯住了敌人的手脚，就是为保卫革命根据地出力！”这番话，使甘祖昌终生难忘。
1927年（民国十六年）7月，江西省农民协会负责人方志敏来到莲花，在坊楼召开群众大会，宣传革命道理。会后，甘祖昌主动找到方志敏，请教问题。方志敏向他进一步阐明了农民贫穷的真正原因，从而使他对中国革命有了初步认识。
1927年（民国十六年）8月24日，经谢运鹏、苏国珍介绍，甘祖昌秘密参加了中国共产党。
1930年（民国十九年）12月，甘祖昌奉调湘赣军区红军兵工厂任副科长，负责制订生产计划、采购原料，还兼任会计、出纳，管理百余职工的伙食。
1934年（民国二十三年）8月，为策应中央主力红军，湘赣红军突围西征。湘赣军区兵工厂被编为红六军团工人连，甘祖昌任连司务长。11月，甘祖昌随主力红军长征。
抗日战争爆发后，甘祖昌所在部队被改编为八路军第一二〇师第三五九旅。甘祖昌任旅供给部军需科科长，奔赴抗日最前线。
1939年（民国二十八年）初，国民党顽固派制造反共摩擦，断绝八路军军饷和军需供应，封锁陕甘宁边区。于是，中共中央将三五九旅从前线调回陕北，一面执行保卫党中央的任务，一面进行大生产。当时，组织上交给甘祖昌的任务是，负责领导修械所、纺织厂、鞋袜厂等军需工厂。
1941年（民国三十年），任八路军一二〇师三五九旅供给部副部长。当年冬，甘祖昌随三五九旅进驻南泥湾，开展大生产运动。
全国内战爆发后，甘祖昌参加了保卫陕甘宁边区的战斗，任晋绥军区三五九旅供给部部长。
1947年（民国三十六年），甘祖昌调二纵队后勤部工作，参加了解放大西北的战役，任西北野战军第二纵队后勤部部长、第一野战军二军后勤部部长。
1949年（民国三十八年），甘祖昌调任一兵团后勤部部长，进军新疆。在新疆和平解放时，甘祖昌不仅顺利解决了10万指战员的口粮问题，而且稳定了物价，并密切了人民军队和新疆各族人民之间的关系。
中华人民共和国成立后，甘祖昌历任新疆军区后勤部副部长兼供给处处长，兼财务处处长，新疆军区后勤部部长。
1954年，军阶鉴定，同志们一致通过甘祖昌为正师级，报到总政治部，被批准为准军级，1955年授予少将军衔。
1957年8月，甘祖昌带着家属从新疆动身回家乡江西省莲花县洋桥乡。临行前，甘祖昌对家人说：“新疆到莲花，路途遥远，要尽量少带行李，为国家节省点差旅费。”全家大小14人，行李精简成3个箱子，此外就是带了8只笼子，装着6头约克猪、15对安哥拉兔、15只来航鸡。
解甲归田后，甘祖昌满腔热情地投入了家乡的建设，回乡29年来，甘祖昌和乡亲们一起，用辛勤的汗水为家乡做了很大贡献。长期的实践和刻苦学习，使甘祖昌积累了一定的农林水利建设经验，被江西省农业科学院聘为特约研究员。
1986年3月23日，甘祖昌在家乡江西省莲花县病逝，终年81岁。
1955年，甘祖昌被授予少将军衔。曾荣获八一勋章、独立自由勋章、解放勋章等。
1957年甘祖昌申请回乡后，国家按规定给予他适当的待遇。在农村的二十九年里，甘祖昌同志经常深入实际，调查研究，密切联系群众，与群众同甘共苦，一直坚持参加劳动，修建了3座水库、25公里长的渠道、4座水电站、3条公路、12座桥梁。甘祖昌回乡后，组织上照发给甘祖昌薪金，据统计，1957年至1984年间，甘祖昌工资收入加原有存款共计102452元，其中支付用于国家建设的有79032元，占总收入的70%多。为促进家乡的经济发展作出了很大贡献。
甘祖昌是党的第九次全国代表大会代表，第三、四届全国人大代表，第五届全国人民代表大会常务委员会委员，江西省第四届政协委员副主席。
习近平：甘祖昌是我们共和国的开国将军，他当了将军，但是他坚持回家当农民。要弘扬这种艰苦奋斗精神，不仅我们这代人要传承，我们的下一代也要弘扬，要一代一代传承下去。
吴京安：甘祖昌从农民到将军，再从将军到农民。人生经历，像过山车一样，穿上将军服，难，脱下来，更难。另外，甘祖昌是农民将军，不是普通农民，也不是普通将军，而是“特殊”农民和“特殊”将军。
宋业明：甘将军的前半生用枪去跟敌人作战，而后半生则为了老百姓的美好生活在奋斗。
北京日报：甘祖昌无论当将军还是当农民，始终坚守对党忠诚、不畏艰苦、淡泊名利、一心为公、关心百姓、勤俭节约、不图安逸的高尚情操。
文汇报：从将军到农民，对甘祖昌来说，是身份和心灵的回归———长征路上，同村战友约好革命成功后一起回家搞建设，让乡亲们过上好日子。革命成功后，几名乡友只剩他一人———他回到家乡，要在家乡建设中大展身手。
人民网：在农村生活的29年里，甘祖昌经常深入实际，调查研究，密切联系群众，与群众同甘共苦，一直坚持参加劳动。他回乡后，组织上照样发给他薪金，他把绝大部分收入都用来为家乡修水利，建电站。他为促进家乡的经济发展作出了很大贡献。
