早年曾出仕元朝，官至枢密院知院，元亡后随元顺帝逃亡漠北。
洪武十八年（1385年），归附明朝。
洪武二十一年（1388年），参加捕鱼儿海战役，因功被授为济南卫副千户，后升任安庆卫指挥佥事。
洪武二十三年（1390年），随蓝玉征讨远顺、散毛诸洞。次年（1391年），驱逐犯境元军，一直追击到鸦寒山，后被调往燕山左护卫，仍任指挥佥事，隶属燕王朱棣麾下。
洪武二十六年（1393年），随朱棣出塞征战，攻至黑松林，次年（1394年）又随征野人诸部。他作战骁勇，又足智多谋，逐渐受到朱棣的器重。当时燕军诸将，“张玉善谋，朱能善战”，被朱棣倚为左右手。
建文元年（1399年），朱棣发动靖难之役。张玉率兵夺取北平九门，并在三日内控制北平全城。都指挥使马宣败走蓟州（今天津蓟县），准备复夺北平。朱棣采用张玉的计策，命朱能突袭蓟州，杀死马宣，并迫降遵化守军。张玉又夺取永平（今河北卢龙）、密云，以二卫精锐充实燕军，升任都指挥佥事。
八月，朝廷调集三十万兵马征讨北平，以长兴侯耿炳文为主帅。耿炳文命徐凯驻军河间，又命潘忠、杨松驻军鄚州（今河北任丘），自己率大军屯于真定（今河北正定）。张玉担任燕军先锋，趁南军庆贺中秋之时，袭破雄县。
而后，张玉在月漾桥设伏，生擒前来援救的潘忠、杨松，乘胜夺取鄚州。他随即又率轻骑窥探真定军营，返回后对朱棣道：“南军纪律涣散，应当迅速进击真定。”朱棣遂率军西进，并在无极召集众将谋议战略。
当时诸将都认为南军兵马强盛，建议驻军新乐。张玉却道：“南军兵马虽多，但都是新兵。我军乘胜直趋真定，必能破城。”朱棣大喜。是月二十五日，燕军在真定之战中大破耿炳文，俘获左右副将军李坚、宁忠以及都督顾成等人，斩首三万级。不久，张玉又击败安陆侯吴杰。燕军军威大振。
同年九月，曹国公李景隆继任南军主帅，率部进驻河间，准备攻打北平。江阴侯吴高则率辽东军围攻永平。朱棣与张玉定下战略，决定先集中兵力援救永平，而后再回救北平。吴高闻听燕军来援，撤围而逃。张玉率轻骑追击，俘斩甚众。
后来，朱棣听从张玉的建议，北上袭取大宁（今内蒙古宁城），以解后顾之忧。张玉随军前往，在两个时辰之内攻破大宁，斩杀都指挥朱鉴，擒获都指挥房宽。朱棣收编宁王朱权所部兵马，实力大增。
十月，朱棣闻听李景隆围困北平，遂回师救援，途中在会州（今河北平泉西南）整编军队。他将燕军分编为中前后左右五军，以张玉统领中军。
十一月，燕军在郑村坝之战中击败李景隆，趁胜抵达北平城下。北平守军也鼓噪杀出，内外夹攻，大破南军。
建文二年（1400年），张玉随朱棣攻破广昌、蔚州、大同。李景隆收集败军，准备再攻北平。张玉认为兵贵神速，率部驰奔白沟河（今河北雄县境内），以逸待劳，而后率精骑出击，再次大败李景隆。
五月，张玉夺取德州，追击南军至济南。但围城三个月，始终不能破城，最终只得撤军。
十月，张玉再破沧州，擒获守将徐凯。
同年十二月（1401年1月），燕军进攻东昌（今山东聊城），与历城侯盛庸相遇。当时，盛庸背城列阵。朱棣率军冲击南军左翼，后又冲其中坚，结果被盛庸重重包围。张玉、朱能分兵两路，率部相救。朱棣与朱能会合，乘机突围而出。张玉不知朱棣已被救出，仍在阵中冲杀，格杀数十人，最终伤重力竭而死，时年五十八岁。
建文四年（1402年）六月，朱棣攻入南京，即位为帝，是为明成祖，追赠张玉为都指挥同知。同年九月，张玉又被追赠为奉天靖难推诚宣力武臣，特进荣禄大夫、右柱国、荣国公，谥号忠显。
洪熙元年（1425年）三月，张玉被加封为河间王，改谥忠武，并得到“配享太庙”的殊荣，与东平王朱能、金乡侯王真、荣国公姚广孝一同附祭于成祖庙廷。
朱棣：①吾倚玉足济大事！②张玉才备智勇，论靖难功当第一。
朱高炽：①张玉识见谋略，卓然老成，非诸侯所及，且端方有匡直之益，诚难得也。②太宗文皇帝以大圣之德，顺天应人，载安宗社，亦赖卿等秉义怀忠，一心为国，奉天靖难之际，发谋奋勇，百战前当，斩将搴旗，所向风靡。暨大功垂成，挺身陷阵，惟义所在，视死如归，忠精贯于日星，功烈扬于竹帛。
杨士奇：王为人庄重沉毅，涉猎书史，明其大义，而识虑高远，治家礼法秩然，奉命行师，纪律严肃，与士卒同甘苦，未尝妄戮一人，每语麾下曰：为将当溅血战袍，流芳汗简。盖其殉国之忠素定，古名将何过焉！
李贤：今世勋臣之盛，无如张氏一门。盖永乐初靖难之臣虽众，而功之著者河间、定兴两王也；天顺初翊戴之臣虽多，而功之著者文安、太平两公也。呜呼，张氏父子兄弟四人，咸建非常之功，此所以享福禄荣名于当世，与国咸休也。
李贽：成祖举兵靖难，王谋画为多。事可否进止，众论未定者，王正色数语，立决。
王世贞：玉始事故元，位掌武，自拔归眀，积伐而冠霸僚，复识龙潜之运，佐之谊虽不足，其略可称也。
何乔远：①玉庄重果毅，策数越人，军中进止，常以数言决定，成祖最倚信之。②张玉、朱能比于徐、常，姚广孝若刘基矣，迹其终始，殆有异焉。
黄道周：骁勇张玉，燕府元僚。佐谋收蓟，审敌败嚣。大破景隆，斩坚殒憀。追封荣国，青史昭昭。（《广名将传》）
查继佐：①忠武以八百人起，势四促，乃猝覆耿长兴、李九江百万之师，靖难惟若一人矣。②时中朝领兵，长兴以七十万，曹国以五十万，再以一百万，历城以六十万，并诸军不止数十万，几三百余万众。而燕山拔戍所遗，但东平及河间，能手取资燕，多寡无定形也。③靖难诸将，惟河间、东平与鄞国而三，然则三国为北平化国为天下者哉。
张廷玉：惠帝承太祖遗威余烈，国势初张，仁闻昭宣，众心悦附。成祖奋起方隅，冒不韪以争天下，未尝有万全之计也。乃道衍首赞密谋，发机决策。张玉、朱能之辈戮力行间，转战无前，陨身不顾。于是收劲旅，摧雄师，四年而成帝业。意者天之所兴，群策群力，应时并济。诸人之得为功臣首也，可不谓厚幸哉！
《历代群英歌》：智略谨厚称张玉，讨服南安朱能是。张辅三平交趾地，姚广孝帷幄高僧。四人靖难功臣伟，太庙配享万年春。（明成祖配享功臣四人）
