早年便以勇略闻名，至正十二年（1352年）与兄长吴良一同到濠州（今安徽凤阳）投奔朱元璋，并为帐前先锋，常潜入敌境刺探消息。他先后随军夺取滁州（今安徽滁州）、和州（今安徽和县）、采石（今安徽马鞍山西南）、集庆（今江苏南京）、镇江（今江苏镇江）、广德（今安徽广德）、常州（今江苏常州）、宣城（今安徽宣城）、江阴（今江苏江阴），屡立战功。
至正十七年（1357年），随常遇春夺取池州（今安徽池州），率水军攻破北门，并击败来援的百余艘战舰。朱元璋遂擢升吴祯为天兴翼副元帅，让他率千人协助吴良守江阴，抵御张士诚的东吴政权。此后，吴祯多次击败东吴军队，破其水寨，生擒吴将朱定，被授为英武卫亲军指挥使。
至正二十六年（1366年），吴祯又随大将军徐达攻打湖州（今浙江湖州）。他率领奇兵从旧馆（今浙江吴兴东）出击，大败东吴军，后留守湖州。同年，吴祯参与平江之战，攻破葑门、胥门，夺取平江（今江苏苏州）。东吴政权灭亡后，朱元璋进拜吴祯为大都督府佥事。
吴元年（1367年），吴祯被拜为征南副将军，随汤和征讨方国珍。他顺潮进入曹娥江，捣毁敌军水坝，打通水道，出其不意的直抵军厩。方国珍被迫逃亡海上。吴祯入海追击，在盘屿与方国珍展开会战，从申时一直打到戌时，缴获其全部战船、士卒、辎重，逼降方国珍。后来，吴祯又从海路进取福州（今福建福州），围困西、南、水部三座城门，最终一战破城。
洪武元年（1368年），朱元璋建立明朝，是为明太祖。吴祯进破延平（今福建南平），俘获陈友定，平定福建沿海一带。他回军昌国（今浙江定海）时，又剿平劫掠兰秀山的海寇，因功兼任率府副使。不久，明太祖任命吴祯为吴王左相兼大都督府佥事。
洪武二年（1369年），明太祖在鸡笼山（在今南京）设立功臣庙，祭祀二十一位开国功臣，“死者塑其像，生者虚其位”。吴祯与兄长吴良都位列其中。后来，大将军徐达平定陕西，命吴祯与副将军冯胜一同驻守庆阳（今甘肃庆阳）。
洪武三年（1370年），吴祯讨平沂州答山贼，被任命为靖海将军，并奉命在沿海练兵。同年十一月，明太祖大封功臣，吴祯被封为开国辅运推诚宣力武臣、荣禄大夫、柱国、靖海侯，食实禄一千五百石，获赐铁券，子孙世袭。后来，明太祖解除吴祯的大都督府佥事之职，让他专职担任王相。
洪武五年（1372年），明太祖命吴祯出镇登州（今山东蓬莱），统率数万水军，督理海运，为辽东运送粮饷。他不但管理有方，使得辽东军饷从未缺乏，还修整城池、训练士卒，尽收辽东未附之地，招降北元平章高家奴。后来，吴祯因事被贬为定辽卫指挥使，不久又被召还。
洪武七年（1374年），明太祖听闻沿海有倭寇入侵，遂任命吴祯为总兵官，让他与都督佥事于显一同剿倭。吴祯总领江阴四卫水军，出海追捕倭寇，一直追到琉球附近海面，缴获倭寇兵船，献俘京师。此后数年，吴祯常常往来于海上，总理军务，沿海地区再无倭寇。
洪武十一年（1378年），出镇定辽（今辽宁辽阳），但不久便因得病返回京师。
洪武十二年（1379年），病逝，终年五十二岁。明太祖辍朝二日，追赠他为特进光禄大夫、左柱国、海国公，赐谥襄毅，赐藏钟山之阴，肖像功臣庙。
洪武二十三年（1390年），被追定为胡惟庸逆党，靖海侯爵位被废除。
吴祯是明初淮西二十四将之一，参与了平定张士诚、方国珍、陈友定的战争，在朱元璋钦定的开国功臣中位列第二十。他精通海战，曾督理海运，率军远赴琉球一带，剿灭倭寇。
刘崧：公以骁勇之才，际兴王之会，钟英淮甸，立勋辽海，致位公侯而不矜不伐，尽瘁所事，真古之名将哉。
吴伯宗：古今豪杰之士，际风云之会，攀龙附凤，竭忠勤、树勋烈以名世者多矣。未有如公兄弟，同遇圣朝，同立大勋，同膺高爵，辉映赫奕若斯之盛者也。
张廷玉：诸将当草昧之际，上观天命，委心明主，战胜攻取，克建殊勋，皆一时之智勇也。及海内宁谧，乃名隶党籍，或追论，或身坐，鲜有能自全者。圭裳之锡固足酬功，而砺带之盟不克再世，亦可慨矣夫。
