谢玄出生于陈郡谢氏家族，其家在谢玄时代已逐渐成为江左高门，号称“诗酒风流”。谢玄生父谢奕，官至安西将军、豫州刺史；母亲阮容，是西晋名士阮籍、阮咸的族人。
谢玄自幼聪慧，且理解能力强，与堂兄谢朗一同为叔父谢安所器重。谢安曾告诫自己的子侄们，问道：“我们家的子侄并不需要出来参与政事，为什么还要每个人都有才能呢？”一时谁也没有回答上来，这时谢玄答道：“像芝兰玉树一样，而且要让他生在阶前庭院中。”谢安听后非常高兴。谢安又曾问谢玄在《诗经》中最喜欢哪句，他回答说是“昔我往矣，杨柳依依；今我来思，雨雪霏霏。”他因此被后世人认为是性情中人。
谢玄成年后，显示出了治理国家的才能，朝廷几次征召，他都推辞不受。后来，他与王珣一起被桓温辟为掾属，都受到了桓温的礼遇和器重。转任征西将军桓豁的司马、领南郡相、监北征诸军事。当时前秦苻坚正是势力强盛之际，多次侵扰东晋边境。朝廷于是下令征召能够抵御外患的良将。谢安任人不避亲，推荐了谢玄。
中书侍郎郗超历来与谢玄不和，但听到这一举荐，也不得不叹息说：“谢安敢于冒触犯众怒的危险举荐亲侄子，确实是英明的；谢玄一定不辜负他叔叔的推荐，因为他确实是难得的人才。”当时许多人都不赞同郗超的看法，郗超说：“我曾经与谢玄共同在桓将军幕府做事，亲眼见他用人能各尽其才，即使是一些细小事务，安排人也非常恰当。我因此知道他一定能成功。”朝廷于是召谢玄回朝，授其为建武将军、兖州刺史，领广陵相，监江北诸军事。
谢玄在任上，广募顽强勇敢之人，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等人都因为勇敢威武而应选。谢玄授刘牢之为参军，命他领精锐为前锋，百战百胜，号称“北府兵”，前秦对其颇为畏惧。
太元三年（378年），前秦皇帝苻坚派军围困襄阳，车骑将军桓冲率部抗击。朝廷下诏命令谢玄征发三州民夫兵丁，并派彭城内史何谦率军在淮水、泗水一带游弋，让他们构成援助襄阳的态势。次年，襄阳陷落，苻坚的部将彭超向驻军彭城的龙骧将军戴逯发动进攻。
谢玄率领东莞太守高衡、后军将军何谦驻扎在泗口，想要偷偷地派遣使者告诉戴逯，让他知道救兵到了，却找不到前往的途径。小将田泓请命前往，于是他就潜在水中偷偷地过去，快要到城下时，不幸被敌军抓获。敌军用丰厚的赏赐收买田泓，让他对彭城守军说“南来的援军已被打垮了”。田泓假装答应。但到了城下时，却大声告诉城中说：“南来的援军很快就要到了，我一个人前来报信，被敌人抓住，诸位一定要努力坚守啊！”于是遇害。
当时彭超将辎重放置于留城，谢玄于是扬声要派遣何谦等进军留城。彭超听闻后，率军返回留城保护辎重。何谦迅速率军前进，解彭城之围。彭超又进军南侵，苻坚的将领句难、毛当从襄阳率军前来与其会合。彭超在三阿包围幽州刺史（此为虚衔）田洛，有军队六万人。朝廷下诏命谢玄的叔父、征虏将军谢石率水军往涂中，右卫将军毛安之、游击将军王昙之、淮南太守杨广、宣城内史丘准往堂邑。不久，盱眙城失陷，高密内史毛藻战死，毛安之等人惊恐，各自退军，朝廷为之震动。
谢玄从广陵往西讨伐句难等。何谦率军击败敌军，为田洛解围。他随后进据白马，大破前秦军，斩其将都颜。又趁势进击，再次将其击破，斩其将邵保。彭超、句难率军引退。谢玄率何谦、戴逯、田洛追击，在君川与其展开战斗，再次大破其军。谢玄的参军刘牢之攻破浮桥和白船，督护诸葛侃、单父县令李都又攻破其运输船。句难等各自溃散，仅以身免。朝廷得讯后，派殿中将军慰劳谢玄，为其进号冠军将军，加领徐州刺史，还屯广陵，以功封东兴县侯。
太元八年（383年），苻坚亲自率军驻扎项城，号称雄兵百万，前秦凉州之军抵达咸阳，向南顺流，幽并二州的军队也接连而至。苻坚先遣苻融、慕容暐、张蚝、苻方等人至颍口，梁成、王显等屯驻洛涧。
晋孝武帝下诏命令谢玄为先锋，统领徐州、兖州、青州以及扬州之晋陵、幽州之燕国各支军队，和谢石、他的从弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等抗击，共有八万人。谢玄先派遣广陵相刘牢之率五千人奔袭洛涧，首战告捷，很快就杀了梁成和其弟梁云，敌人的步骑兵同时崩溃，争着渡过淮水逃跑。刘牢之派兵追击，活捉敌将梁他、王显、梁悌、慕容屈氏等，获取其军用物资。
苻坚进军驻扎在寿阳，在淝水沿岸布阵列兵，谢玄的军队不能过河。谢玄派人对秦将苻融说：“你们那么远到我们的疆土，却在淝水边上列阵，这是不想速战速决。请你们稍微退后一点，也好让我们的部队渡过河去同你们拼一拼。我和你们从容观看，不也是一件快乐的事情吗？”苻坚的部下都说：“咱们应该凭借淝水把他们堵在河对岸，我们人多，晋军人少，情势一定会有利于我们的。”苻坚却说：“只管让军队退后，让他们过河，等到他们过来了，我们再用铁骑数十万把他们全部赶进河里去，彻底消灭他们。”苻融也认为应该这样，于是就指挥秦军向后退却，谁知后退的命令一发出，那么多人一下子就乱了阵脚，再也控制不住了。
在此情况下，谢玄与谢琰、桓伊等人带领八千精兵渡过淝水。苻坚中箭，苻融临阵被杀。苻坚的军队溃败奔逃，自相践踏，投水而死的不计其数，淝水因而都堵塞不流通。其余人马抛弃铠甲连夜逃走，听到风声鹤叫，都以为是东晋军队已经来到，草行露宿，再加上挨饿受冻，死去的有十分之七八。获得苻坚的乘驾云母车，加上他的仪服、器械、军资、珍宝堆积如山，牛马驴骡骆驼等十万余头。孝武帝下诏派殿中将军慰劳谢玄军队，加授谢玄前将军、假节，但谢玄坚决推辞不接受。朝廷赐其上百万钱，上千匹彩绸。
不久，谢安上奏朝廷，认为苻坚新近败丧，应乘有利时机，以谢玄为前锋都督，率冠军将军桓石虔直指涡、颍，经略旧都。于是谢玄又率部进驻彭城，遣参军刘袭攻打苻坚的兖州刺史张崇于鄄城，赶走张崇，派刘牢之据守鄄城。
兖州平定后，谢玄忧患水道险阻不通，运粮艰难，便采纳督护闻人奭的建议，筑土坝拦截吕梁之水，树立栅栏，合七埭为一支流，承接两岸的流水，以利于漕运，从此公私两便。又进军攻青州，所以将这一水利工程称为青州派。
再遣淮陵太守高素率三千人马出击广固，迫使苻坚的青州刺史苻朗投降归顺。又进军讨伐冀州，遣龙骧将军刘牢之、济北太守丁匡据守碻磝，济阳太守郭满据守滑台，奋武将军颜雄渡过黄河建造营垒。苻坚之子苻丕遣部将桑据进驻黎阳。谢玄命刘袭夜袭桑据，桑据逃走。苻丕惶恐不安，打算降晋，谢玄答应请求。苻丕告饥，谢玄送给苻丕二千斛军粮。又遣晋陵太守滕恬之渡过黄河据守黎阳，三魏之地皆归降东晋。
朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专门命人总督，司州遥远，应归豫州统管。朝廷论功封谢玄为康乐县公。谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，封谢玩为豫宁伯。谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯。谢玄打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。
但此时朝臣却议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。
朝廷又下诏让他移镇东阳城。谢玄便奉命上路，以病重恳求解职。朝廷为谢玄派了一名医术高明的医士，并让他好自调养休息，又让他回京口治病。
谢玄奉诏回京口，病却长期不见好转，于是又上疏道：“臣兄弟七人，都先后凋谢殒灭，惟有臣一人，孑然独存。经历的艰难困苦，谁可与臣相比！臣之所以含悲忍痛，希求继续苟活人世，是因为满怀无穷忠心，欲上报朝廷恩德，或许能恢复康健，便可以完成此志。况且臣家中遗孤甚多，想起他们，心中就不胜悲伤，为此求生之心，不能即刻付与尘土。臣一片勤恳之情，实可哀怜。恳求陛下怜悯臣的忠诉，霈然降恩，不使臣含恨九泉。”
谢玄所上的十余道奏疏都被扣住，未予答复。许久后，朝廷才调谢玄为散骑常侍、左将军、会稽内史。谢玄抱病登车去会稽郡任职。
太元十三年（388年），谢玄在会稽去世，终年四十六岁。朝廷追赠车骑将军、开府仪同三司，谥号“献武”。
永初元年六月十四日（420年7月10日），刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除，谢玄的爵位康乐县公被降封为康乐县侯，食邑五百户。
《全晋文》收录有《请旌表故梓潼太守周虓疏》、《上疏经略河北》、《疾笃上疏》、《病久不差又上疏》、《为戴逵上疏请绝召命》、《与姊书》、《与兄书》、《又与兄书》、《与妇书》、《书》。
谢玄文武兼备，立志挽救危亡，以图恢复。他创建的“北府兵”，能征善战，特别能吃苦耐劳，成为东晋最为精锐的武装力量。在淝水之战中，“北府兵”军阵严整，使秦主苻坚望而生畏，可见其强。
桓温：谢掾年四十，必拥旄杖节。王掾（王珣）当作黑头公。皆未易才也。。
余知古：温（桓温）在镇三十年，参佐习凿齿、袁宏、谢安、王坦之、孙盛、孟嘉、王珣、罗友、郗超、伏滔、谢奕、顾恺之、王子猷（王徽之）、谢玄、罗含、范汪、郝隆、车胤、韩康等，皆海内奇士，伏其知人。
何去非：古之人有以众而败，有以寡而胜者，王寻、王邑以百万而败于三千之光武（刘秀），曹公（曹操）以八十万而败于三万之周瑜，苻坚以百万而败于八千之谢玄是也。
司马光：晋室既衰，中原云扰，刘石慕容之辈，弥漫河洛，蟠据岱华，宫阙芜没，陵庙隳焚。元帝（司马睿）以宗室疎属，遁居江表，天下士民有思晋者，皆裹粮而归之，国于荆扬之间，子孙相承不绝如线。独明帝（司马绍）英武，克清大憝，不幸享国不永，自余孱弱孤危，外陵内叛，寄命于虎狼之口，几遇吞食者数矣，然卒能保其位号宗庙血食百有余年，何者？王导、卞壸、温峤、陶侃、谢安、谢幼度（谢玄）为之臣也，群贤既没，使道子（司马道子）、元显（司马元显）之徒辅之，败亡不亦宜乎？
吕祖谦：晋之始也，敌国云扰，强臣专制，上下惴恐，如处积薪之上而火将燃者，故君无骄泰之失，而臣下自以危亡为忧，是以内虽王敦、苏峻反叛相寻，桓温擅权废立，外则石氏之兵三至江上，苻坚淝水之役，江东几至不保。然当时人主恐惧于上，而王导、温峤、陶侃、谢安、谢玄之徒足以尽其力，故至危而复安，将亡而复存也。
徐钧：战败苻坚百万兵，晋家宗社赖而存。当时若使玄犹在，国祚桓玄未可吞。
陈元靓：谢庭之内，玉树森然。宏材秘畧，惟安与玄。却秦扶晋，擒融遁坚。会稽兖海，令文言遐传。
孙原贞：夫兵贵精不贵多，昔周瑜破曹操于赤壁、谢玄破苻坚于合淝、李靖于定襄破突厥、于阴山破颉利，斯皆以少击众。
王世贞：淝水之胜，虽曰有天幸，而玄之善用兵，亦自有以制之。苻氏灭国十余，拥百万之众，平襄而后，气噉江左。独玄以北府偏师，踯躅当锋，覆师斩将者，至再三，其胆力当何如哉。苻氏之乱，玄乘胜比讨，而乃使刘牢之应丕（苻丕）而战慕容垂，人皆咎为失策吾以为未为失也。……是故一败而不复振。玄病因之。岂非天哉。
陈子龙：自汉以后，文武渐分，然犹有虞诩、诸葛亮、周瑜、陆逊、司马懿、羊祜、杜预、温峤、谢玄、韦睿、崔浩、李靖、裴行俭、郭元振、裴度、李德裕、韩琦、李纲、虞允文之徒奋策儒素建功阃外，为时宗臣。彼岂必有抟虎之力，射雕之技哉？不过深明古今之事，能决机宜之便耳。
王夫之：弗待有建威销萌、卫社稷、安生民之大臣，如刘弘、陶侃、谢玄、檀道济、沈庆之之流也。
蔡东藩：秦兵横行江淮，连破名城，迭擒晋将，至三阿一役，彭超俱难，屡战屡败，仅以身免，此可见师劳力疲，不堪久用。秦之转盛为衰，已见一斑，非谢玄之果能无敌也。
