1917年，考入衡阳湖南省立第三师范学校。
1919年，参加五四运动，在衡阳成立湘南学生联合会，被选为总干事。
1921年，发起成立进步团体“心社”，宣传新文化。不久加入中国社会主义青年团，同年冬加入中国共产党。
1922年夏，赴江西安源开展工人运动，在工人夜校教书并参与筹建工人俱乐部，出任俱乐部文书股长，和李立三、刘少奇等一起领导了安源工人大罢工。同年11月奉命到水口山矿区建立党的组织和工人俱乐部，12月领导了水口山矿工的大罢工，并取得胜利。
1924年5月，入黄埔军校第一期学习，任中共黄埔军校特别支部书记。时任黄埔军校政治部主任的周恩来赞其是“军校的高材生”、“是个将才”。军校毕业后，蒋先云留校任蒋介石的秘书。
1925年，在周恩来的领导下，蒋先云发起成立青年军人联合会，是该会负责人之一。同年参加东征讨伐陈炯明和平定滇桂军阀杨希闵、刘震寰叛乱。8月任国民革命军第1军第3师第7团党代表，不久率部参加第二次东征。
1926年3月，中山舰事件后，蒋先云退出国民党及第1军。北伐战争开始后，受党组织派遣任北伐军总部秘书，兼补充团第5团团长，参加了攻打九江、南昌等战役。
1927年初，蒋介石反革命阴谋日益暴露，蒋先云毅然去武汉任湖北省总工会工人纠察总队队长，倡议成立黄埔学生反蒋委员会。同年5月武汉国民政府决定继续北伐，蒋先云被任命为国民革命军第11军26师77团团长兼党代表，率部北上河南，5月28日在攻克临颍城的战斗中英勇牺牲。
1924年3月，蒋先云在湖南新田清水塘参加黄埔一期入学初试，经何叔衡保荐到上海参加复试，一路过关斩将，最终以状元郎的身份成为“天子门生”的一员。而他自己，无疑是最为惹眼的那颗新星，入学之初便引来极大的关注，获得了众星捧月般的荣耀。在一期生中，有“黄埔三杰”之说。三人中的陈赓，戎马倥偬一生，日后的共和国大将；贺衷寒，复兴社“十三太保”的灵魂人物，官至陆军中将，而蒋先云位列“三杰”之首，可见其能力之强、影响之巨。与此同时，他还创造了一项前无古人、后无来者的记录---在校期间的一切考试（包括入学和毕业），蒋先云包揽了所有第一。
蒋先云还在校内成立青年军人联合会并任主席。作为校内共产党和国民党左派军人的导航站，蒋先云领导下的青年军人联合会影响迅速扩大，人数由最初的2000人扩展至20000人，活动范围也由校内延伸至滇、桂、湘乃至全国地区。
从平定商团叛乱到黄埔学生军的淡水初战、棉湖东征，再到平杨、刘之乱，蒋先云几乎无役不予，每每冲锋在前、有死无退。二次东征惠州城，任第一军三师七团团长；一次北伐时期，先后任北伐军总司令部机要秘书、补充第五团团长，可谓战功卓著。
蒋先云牺牲后，周恩来在武昌亲自主持召开追悼会，当时中共中央机关刊物《向导》周报刊登了题为《悼蒋先云同志》的悼词。徐向前元帅称蒋先云“斗争坚决，作战勇敢，头脑敏捷，堪称青年军人的榜样”，并亲自为他题词：蒋先云烈士永垂不朽。
蒋先云的革命情怀和爱国斗志激励着家乡人民。为纪念他，新田县将县城一条繁华街道（县城至蒋先云出生地方向）命名为先云路，并修缮了蒋先云故居，民间自发组织成立了新田县蒋先云研究会。
“蒋先云是黄埔军校中最可造就的人才”——廖仲恺。
“蒋先云是我的良师益友，他斗争坚决，作战勇敢，头脑敏捷，堪为青年军人的模范”——徐向前。
“先云战死了，但他的精神是从此不死的。我本来很想作一篇文章来纪念他，但我觉得我们有时间性的文章，不足于纪念超时间性的烈士，足以纪念烈士的，只有他自己生前的行动，生前的誓言”——郭沫若。
