2000年，15岁的菲尔普斯首次参加了美国奥林匹克选拔赛，后被选中，作为美国68年来最年轻的奥运游泳选手参加了悉尼奥运会，获得200米蝶泳的第5名。
比赛刚一结束，教练鲍曼就立刻让菲尔普斯继续训练。2001年，在美国国内举行的一次游泳比赛上，16岁的菲尔普斯打破了200米蝶泳世界纪录。同年，他在福冈世锦赛上赢得了职业生涯中第一个世界冠军头衔。此时鲍曼为菲尔普斯制定了一份魔鬼训练计划：每天早上5点起床，一天训练两次，每周训练6～7天，加起来每周至少要游8万米。为了让他专心训练，鲍曼有意不让他接触社会，禁止他参加任何派对或者商业活动。
在2003年巴塞罗那世界游泳锦标赛期间，他获得6块奖牌，创造了5项世界纪录，其中100米蝶泳和200米个人混合泳的两项新纪录是在同一天创下的。同时，他被评为2003年度世界最佳男子游泳运动员。
2004年雅典奥运会，菲尔普斯夺得男子200米、400米个人混合泳，100米、200米蝶泳，4×200米自由泳接力和4×100米混合泳接力6枚金牌，以及200米自由泳和4×100米自由泳接力2枚铜牌。与此同时，鲍曼也改变训练计划，开始对菲尔普斯进行陆上力量训练。除了大力改进蛙泳技术外，鲍曼尤其重视训练菲尔普斯的腿部力量。同年年末，19岁的菲尔普斯在《体育画报》记者布莱恩的协助下，完成了他的第一部自传《水面之下》。
2008年北京奥运会，8月10日，男子400米混合泳，菲尔普斯以4分03秒84打破世界纪录，并夺取该届奥运会个人首金。8月11日，男子4×100米自由泳接力，决赛美国队的第一棒就是由菲尔普斯担任，最终美国队以3分12秒23改写世界纪录。8月12日，男子200米自由泳，菲尔普斯以1分42秒96打破世界纪录并夺取金牌。8月13日，菲尔普斯1分52秒03夺得200米蝶泳冠军，获取本届奥运会第四金并打破世界纪录。一个小时，后菲尔普斯就带领美国队夺得男子4×200米自由泳接力金牌，并以6分58秒56打破世界纪录，菲尔普斯收获个人本届奥运会第五金。8月15日，男子200米混合泳决赛，菲尔普斯以1分54秒23打破世界纪录并夺取个人本届奥运会第六金。8月16日，男子100米蝶泳，菲尔普斯以50秒58获得冠军。8月17日，男子4×100米混合泳接力，美国队以3分29秒34夺冠并打破世界纪录，菲尔普斯收获个人该届奥运会第八枚金牌，超越施皮茨成为单届奥运会夺取金牌最多的选手。
2009年世锦赛，7月27日，男子4x100自由泳接力决赛，美国队以3分09秒21的成绩打破世锦赛纪录同时摘得金牌，菲尔普斯获得该届世锦赛个人首枚金牌。7月29日，在男子200米自由泳决赛中，菲尔普斯以1分43秒22获得银牌。7月30日，200米蝶泳，菲尔普斯以1分51秒51的成绩获得冠军，并打破世界纪录。8月1日，在男子4x200自由泳接力决赛中，美国队以6分58秒55的成绩夺冠，并打破世界纪录，菲尔普斯获得该届世锦赛第三金。8月2日，在男子100米蝶泳比赛中，菲尔普斯以49秒82的成绩夺冠。8月3日，8月3日在最后一个项目男子4x100米混合泳接力的决赛中，菲尔普斯领衔的美国队以3分27秒58的成绩破世界纪录摘金。
2011年7月27日，世锦赛男子200米蝶泳项目，菲尔普斯以1分53秒34的好成绩收获一枚金牌。
2012年伦敦奥运会，7月28日，在男子400米混合泳决赛中，菲尔普斯以4分9秒28的成绩获得第四名。7月29日，男子4×100米自由泳接力决赛中，美国队以0.45秒的劣势屈居亚军。7月31日，在200米蝶泳决赛中，菲尔普斯获得银牌；一小时后，男子4×200米自由泳接力决赛中，菲尔普斯第四棒（1:44.05）率领美国队以6分59秒70夺冠。8月2日，男子200米混合泳决赛中，菲尔普斯以1分54秒27的成绩获得金牌。8月3日，在伦敦水上运动中心男子100米蝶泳决赛，菲尔普斯以51秒21夺冠。8月4日，男子4x100米混合泳接力决赛中，美国队以3分29秒35夺冠，菲尔普斯拿到伦敦奥运会上的第四枚金牌，这是他拿到的第22枚奥运奖牌，第18枚金牌，超越前苏联体操名宿拉蒂尼娜所保持的18枚奥运奖牌的纪录，成为奥运历史上获得奖牌及金牌最多的运动员。
2012年8月4日，菲尔普斯宣布退役。
2014年4月15日，菲尔普斯正式宣布复出。
2016年3月8日，菲尔普斯表示在参加完里约奥运会之后将退役。8月5日，在2016年里约热内卢奥运会，担任代表团旗手。8月7日，里约奥运会男子4x100米自由泳接力决赛，菲尔普斯率领美国队夺冠，收获个人第19枚奥运金牌。8月9日，里约奥运会男子200米蝶泳决赛中，菲尔普斯以0.04秒的微小优势获得冠军；一个小时后，里约奥运会男子4×200米自由泳接力决赛中，菲尔普斯游美国队最后一棒，以明显优势获得冠军。8月11日，里约奥运会游泳男子200米个人混合泳决赛中，菲尔普斯游出1分54秒66的成绩，摘下奥运会赛场上第22枚金牌（个人单项第13枚金牌），从而超越古希腊奥运神莱昂尼达斯保持了2000多年（确切说是2168年）的纪录。（公元前164年，莱昂尼达斯在田径项目中赢得了3个冠军，之后又连续3届奥运会卫冕成功，创下了单人项目12枚金牌的纪录。）8月12日，里约奥运会男子100米蝶泳决赛争夺，菲尔普斯以51秒14获得亚军之一，结束了他在该项目上的奥运连冠历史。8月13日，里约奥运会男子4×100米混合泳接力赛中，菲尔普斯领衔的美国队以绝对实力获得冠军，菲尔普斯也收获了自己第23枚奥运会金牌。
2016年12月2日，美国“飞鱼”、奥林匹克多枚金牌得主迈克尔-菲尔普斯（Michael Phelps）日前在纽约举行的金泳镜奖颁奖典礼上公开宣布，他已经彻底退役。
2017年2月14日，获得2017年劳伦斯世界体育奖年度最佳复出奖。
劳伦斯世界体育奖
▪ 2017 2017年劳伦斯世界体育奖最佳复出奖 （获奖）
▪ 2013 2013年劳伦斯世界体育奖特别成就奖 （获奖）
▪ 2013 2013年劳伦斯世界体育奖最佳男运动员奖 （提名）
▪ 2009 2009年劳伦斯世界体育奖最佳男运动员奖 （提名）
▪ 2008 2008年劳伦斯世界体育奖最佳男运动员奖 （提名）
▪ 2005 2005年劳伦斯世界体育奖最佳男运动员奖 （提名）
▪ 2004 2004年劳伦斯世界体育奖最佳男运动员奖 （提名）
其他奖项
▪ 2012 国际泳联特别奖“最伟大的奥林匹克运动员” （获奖）
▪ 2003 克莉丝汀奖 （获奖）
菲尔普斯是一个非常有天赋的游泳运动员，但为成为最优秀的运动员，他每天七八个小时泡在泳池里，每周7天，每年几乎365天，菲尔普斯和鲍曼都在训练。枯燥单调的训练，潮湿压抑的空气，周而复始的动作和单一不变的场景，菲尔普斯以极大的毅力克服了所有困难。游泳对他来说不是事业，他对游泳的执着就像音乐家对待自己的乐器。（新华网评）
菲尔普斯的天赋绝对是10代人里出1个的水平，他的身体、心理俱佳，世上只能有一个菲尔普斯。（鲍勃·鲍曼评）
