张衡的家族世代为当地的大姓。他的祖父张堪，自小志高力行，被人称为圣童，曾把家传余财数百万让给他的侄子。光武帝刘秀登基后张堪被任命为蜀郡太守，随大司马吴汉讨伐割据益州的公孙述，立有大功。其后又领兵抗击匈奴有功，被拜为渔阳太守。曾以数千骑兵击破匈奴来犯的一万骑兵。此后在他的任期内匈奴再也没有敢来侵扰。他又教人民耕种，开稻田八千顷，人民由此致富。所以，有民谣歌颂他说：“张君为政，乐不可支。”张堪为官清廉。伐蜀时他是首先攻入成都的，但他对公孙述留下的堆积如山的珍宝毫无所取。蜀郡号称天府，但张堪在奉调离蜀郡太守任时乘的是一辆破车，携带的只有一卷布被囊。
张衡像他的祖父一样，自小刻苦向学，少年时便会做文章。16岁以后曾离开家乡到外地游学。他先到了当时的学术文化中心三辅（今陕西省西安市一带）地区。这一地区壮丽的山河和宏伟的秦汉古都遗址给他提供了丰富的文学创作素材。以后又到了东汉都城洛阳。在那儿，他进过当时的最高学府太学，结识了后来著名的学者崔瑗，与他结为挚友。张衡兴趣广泛，自学《五经》，贯通了六艺的道理，而且还喜欢研究算学、天文、地理和机械制造等。但在青年时期，他的志趣大半还在诗歌、辞赋、散文上，尽管他才高于世，却没有骄傲之情。平常从容淡泊，不喜欢与俗人相交。
汉和帝永元（89年—105年）年间，张衡被推举为孝廉，但他没有接受，公府几次征召也不到。当时，国家太平日久，自王侯以下，没有不奢侈过度的。张衡于是仿照班固的《两都赋》，殚精竭思十年，才作成《二京赋》，用以讽谏朝廷。大将军邓骘欣赏张衡的才华，多次征召他，张衡都不应命。
公元100年（永元十二年），张衡应南阳太守鲍德之请，作了他的主簿，掌管文书工作。八年后，鲍德调任京师，张衡即辞官居家。
张衡擅长机械，特别用心于天文、阴阳、历算。平常喜爱扬雄的《太玄经》，对崔瑗说：“我看《太玄》，才知道子云（扬雄字）妙极道数，可与《五经》相比，不仅仅是传记一类，使人论辩阴阳之事，汉朝得天下二百年来的书啊。再二百年，《太玄经》就会衰微吗？因为作者的命运必显一世，这是当然之符验。汉朝四百年之际，《玄》学还要兴起来的呢。”汉安帝早就听说张衡善术学，公元111年（永初五年），张衡被朝廷公车特征进京，被拜为郎中，再升任太史令。于是研究阴阳，精通天文历法，制作浑天仪，著有《灵宪》、《算罔论》，写得较为详细明白。虽然在汉顺帝即位初年再调动它职，但后来又任太史令，张衡任此职前后达14年之久。他许多重大的科学研究工作都是在这一阶段里完成的。
张衡不慕当世的功名富贵，担任官职，往往多年都不得迁升。自从离开史官的职务五年后，又回到原职。于是设客问体，作《应问》来表明自己的心迹。当时，政事渐衰，宦官干政。张衡于是上疏陈事，劝谏顺帝。
公元133年（阳嘉二年），张衡升任侍中，顺帝任用他在自己身边对国家的政事提出意见。顺帝曾询问张衡天下所痛恨的人。宦官们害怕他说自己的坏话，都用眼睛瞪着他，张衡便用一些不易捉摸的话回答后出来了。但宦官还是担心张衡以后会成为他们的祸害，于是群起毁谤张衡。张衡常想着如何立身行事。认为吉凶祸福，幽暗深微，不易明白，于是作《思玄赋》，以表达和寄托自己的情志。
公元136年（永和元年），张衡被外调任河间王刘政的国相。刘政骄奢淫逸，不遵法纪；又有不少豪强之徒，纠集在一起做乱。张衡到任后，严整法纪，打击豪强，暗中探得奸党名姓，一时收捕，上下肃然，他为政以清廉著称。任职三年后，张衡上书请求辞职归家，被征召拜为尚书。
公元139年（永和四年），张衡逝世，享年六十二岁。
公元1109年（宋徽宗大观三年），张衡因算学方面的成就被北宋追封为西鄂伯。
后世称张衡为“木圣”。为了纪念张衡的功绩，联合国天文组织于1970年将月球背面的一个环形山命名为“张衡环形山”，又于1977年将小行星1802命名为“张衡星”，2003年，国际小行星中心为纪念张衡及其诞生地河南南阳，将小行星9092命名为“南阳星”。
地动仪
公元132年（阳嘉元年），张衡在太史令任上发明了最早的地动仪，称为候风地动仪。据《后汉书·张衡传》记载：地动仪用精铜铸成，圆径八尺，顶盖突起，形如酒樽，用篆文山龟鸟兽的形象装饰。中有大柱，傍行八道，安关闭发动之机。它有八个方位，每个方位上均有一条口含铜珠的龙，在每条龙的下方都有一只蟾蜍与其对应。任何一方如有地震发生，该方向龙口所含铜珠即落人蟾蜍口中，由此便可测出发生地震的方向。经过试验，与所设制，符合如神，自从有书籍记载以来，是没有过的。曾经一龙机发，地不觉动，雒阳的学者都责怪不足信，几天之后，送信人来了，果然在陇西地发生地震，众人于是都服其神妙。自此之后，朝廷就令史官记载地动发生的地方。
关于地动仪的结构，流行的有两个版本：王振铎模型，即“都柱”是一个类似倒置酒瓶状的圆柱体，控制龙口的机关在“都柱”周围。这一种模型已被基本否定。 另一种模型由地震局冯锐提出，即“都柱”是悬垂摆（见袁宏《后汉纪》），摆下方有一个小球，球位于“米”字形滑道交汇处（即《后汉书·张衡传》中所说的“关”），地震时，“都柱”拨动小球，小球击发控制龙口的机关，使龙口张开。另外，冯锐模型还把蟾蜍由面向樽体改为背向樽体并充当仪器的脚。该模型经模拟测试，结果与历史记载吻合。
世界上地震频繁，但真正能用仪器来观测地震，在国外，是19世纪以后的事。候风地动仪是世界上的地震仪之祖。虽然它的功能尚只限于测知震中的大概方位，但它却超越了世界科技的发展约1800年。
浑天仪
张衡在西汉耿寿昌发明的浑天仪的基础上，根据自己的浑天说，创制了一个比以前都精确、全面得多的“浑天仪”。
漏水转浑天仪是一种水运浑象。用一个直径四尺多的铜球，球上刻有二十八宿、中外星官以及黄赤道、南北极、二十四节气、恒显圈、恒隐圈等，成一浑象，再用一套转动机械，把浑象和漏壶结合起来。以漏壶流水控制浑象，使它与天球同步转动，以显示星空的周日视运动，如恒星的出没和中天等。它还有一个附属机构即瑞轮冥菜，是一种机械日历，由传动装置和浑象相连，从每月初一起，每天生一叶片；月半后每天落一叶片。它所用的两级漏壶是现今所知最早的关于两级漏壶的记载。
张衡在创作了浑天仪之后曾写过一篇文章。此文全文已佚。只是在梁代刘昭注《后汉书·律历志》时作了大段引述而使之传世。刘昭注中把这段文字标题为《张衡浑仪》。称之为“浑仪”可能是刘昭所作的一种简化。在古代，仪器的定名并不严格。虽然后世将“浑仪”一词规范为专指观测仪器，但在隋、唐以前，“浑仪”也可用于表演仪器。
瑞轮荚
瑞轮荚是张衡别出心裁创造的自动日历，它模仿神话中奇树蓂荚的特征，靠流水作用，从每月初一开始，一天出现一片叶子，到满月出齐15片，然后每天再收起一片，到月末为止，循环开合。这个神话曲折地反映了尧帝时天文历法的进步。张衡的机械装置就是在这个神话的启发下发明的。听谓“随月盈虚，依历开落”，其作用就相当于现今钟表中的日期显示。
指南车
张衡制造的指南车利用机械原理和齿轮的传动作用，由一辆双轮独辕车组成。车箱内用一种能自动离合的齿轮系统，车箱外壳上层置一木刻仙人，无论车子朝哪个方向转动，木人伸出的臂都指向南方。
计里鼓车
张衡创造的计里鼓车是用以计算里程的机械。据《古今注》记载：“记里车，车为二层，皆有木人，行一里下层击鼓，行十里上层击镯”。记里鼓车与指南车制造方法相同，所利用的差速齿轮原理，早于西方1800多年。
独飞木雕
张衡制作独飞木雕，是模仿鸟类高空翱翔的滑翔翼型设计。
地形图
张衡也研究过地理学，根据他研究和考察的心得，画过一幅地形图。唐张彦远《历代名画记》卷三云：“衡尝作地形图，至唐犹存。”
张衡曾参加过在汉安帝延光二年（公元123年）的一次历法大讨论，据《后汉书·律历志》记载，张衡时任尚书郎。这次大讨论的起因是，有人从图谶和灾异等迷信观念出发，非难当时行用的较科学的东汉《四分历》，提出应改用合于图谶的《甲寅元历》。又有人从汉武帝“攘夷扩境，享国久长”出发，认为应该倒退回去采用《太初历》。张衡和另一位尚书郎周兴对上述两种意见提出了批驳和诘难，使这二宗错误意见的提出者或者无言以对，或者所答失误，从而为阻止历法倒退做出了贡献。张衡、周兴两人在讨论中还研究了多年的天文观测记录，把它们和各种历法的理论推算进行比较，提出了鉴定，认为《九道法》最精密，建议采用。的确，《九道法》的回归年长度和朔望月长度数值比《太初历》和东汉《四分历》都精密。
而且《九道法》承认月亮运行的速度是不均匀的，而当时其他的历法都还只按月亮速度均匀来计算。所以，《九道法》所推算的合朔比当时的其他历法更符合天文实际。只是如果按照《九道法》推算，将有可能出现连着3个月是30天的大月，或连着两个29天的小月等的现象。而按千百年来人们所习惯的历法安排，从来都是大、小月相连，最多过17个月左右有一次两个大月相连，绝无3个大月相连，更无2个小月相连的现象。所以，《九道法》所带来的3大月或2小月相连的现象对习惯守旧的人是难以接受的。这样，张衡、周兴建议采用《九道法》本是当时最合理、最进步的，但却未能在这场大讨论中获得通过。这是中国历法史上的一个损失。月行不均匀性的被采入历法又被推迟了半个多世纪，直到刘洪的《乾象历》中才第一次得以正式采用。
汉安帝永初（107年—113年）年间，谒者仆射刘珍、校书郎刘騊駼等人在东观撰集《汉记》，因而考定汉家礼仪，上疏请求让张衡参加讨论，适逢二人逝世，张衡平时叹息，想完成这件事。等到他任侍中时，上疏请在东观专门收检遗文，全力补缀。又条上司马迁、班固所记与典籍不合的十多件事。还认为王莽本传，只应记载篡夺皇位而已，至于编年月，记灾祥，应改称为《元后本纪》。认为更始帝居位，人民没有什么异议。光武帝最初是更始帝的将领，后来才即位，应该把更始年号建在光武之前。上书数次，都没被采纳。后来的著述，多未详见于典籍，时人感到遗憾。
刘勰在《文心雕龙》中对此曾评价说：“张衡司史，而惑同迁固，元平二后，欲为立纪，谬亦甚矣。寻子弘虽伪，要当孝惠之嗣；孺子诚微，实继平帝之体；二子可纪，何有于二后哉？”
东汉谶纬之学风行于世，自东汉建国后，儒生争学图纬，更附以妖言。张衡认为图纬虚妄，不是圣人之法。于是上疏认为“国谶虚妄，非圣人之法。”并认为“此皆欺世罔俗……宜收藏国谶。一禁绝之。”翦伯赞在《中国史纲要》中称张衡为“反谶纬的思想家。”
张衡掌握高明的机械技术，据传他当时还制做过两件神奇的器物。一件是有三个轮子的机械，可以自转；一件是一只木雕，能在天上飞翔。
关于木雕，《墨子·鲁问》就有记载：“公输子削竹木以为鹊。成而飞之，三日不下。”《列子·汤问》和《韩非子·外储说》都记载说，墨子本人也造过能飞的木鸢。这些木鹊或木鸢大概是一种鸟状的风筝。不可能是其他装有动力机的、如今日飞机之类的飞行器。因为当时还不可能有连续运行一日乃至三日之久的动力机。张衡的木雕，大概也是一种风筝。不过，北宋类书《太平御览·工艺部九》引《文士传》中一段记载说：“张衡尝作木鸟，假以羽翮，腹中施机，能飞数里。”这里说到“腹中施机”，而且“能飞数里”，因此，过去有的作者认为是一种飞机类的飞行器。但装在飞行器上的动力机必须重量足够轻而马力足够大，并且还要求飞行器本身具有一定的适宜起飞上升的形状等等，这些条件在张衡时代没有一条是能做得到的。所以，张衡的木雕即使真的“腹中施机”，那么，这种机也不会是动力机，而是一种装在风筝上用线控制飞行的操纵机构。
关于三个轮子可以自转的机械，古来就有不同意见。南宋学者王应麟认为是一种记里鼓车。这种车利用一组齿轮系把大车转动时车轴的运动传递到一个木人的手臂上，使它过一里路时敲一下鼓。这个设想看来不大符合“三轮可使自转”的意思。敲鼓的动作一般是不当作转动看的。另一种意见则认为是一种指南车。清代王先谦《后汉书集解·张衡传》中引《宋书·礼志》：“指南车，其始周公作，张衡始复创造”（按：这是《宋书·礼志》的摘引，实非原文）。因此，指南车的形象更符合于“自转”的用词，因为不管下面轮子怎么转，车上的人只见到指南车木人的手指在自动地转向南方。
总之，张衡在机械技术方面非常高明。《太平御览·工艺部九》引晋代葛洪《抱朴子》：“木圣：张衡、马钧是也。”高似孙的《纬略》也说“张衡、马忠号‘木圣’。”
崔瑗：①数术穷天地，制作侔造化。②于惟张君，资质懿丰，德茂材羡，高明显融。焉所不学，亦何不师，盈科而逝，成章乃达。一物不知，实以为耻，闻一善言，不胜其喜。包罗品类，禀授无形，酌焉不竭，冲而复盈。廪廪其庶，亹亹其几，膺数命世，绍圣作师。苟华必实，令德惟恭，柔嘉伊则，孝友祗容。允出在兹，维帝念功，往才女谐，化洽民雍。愍天不吊，降此咎凶，哲人其萎，罔不时恫。纪于铭勒，永终誉兮，死而不朽，芳烈著兮。
夏侯湛：奕奕张生，秉德淑清。研深综理，思俊才英。实掌天地，幽赞神明。冠曩兴美，倾汉流声。匪唯天象，亦垂人文。有炳其犹，有铄其新。仰鉴遗籍，驰心哲人。殊世投好，百载交神。奉命南邦，行出尔涂。（阙一字）及隧首，辍驾前衢。徘徊崇碑，逍遥故墟。企仰网瞻，长怀焉如。昔在先贤，唯德作友。古而无死，愿言携手。世则兹泯，道乃（阙二字）。在珠咏隋，于璧称和。戢宝无雕，人寿几何？望兼京台，思逾俟河。
郑谷：张平子才高过人，性巧，明天象，善画。
归有光：贾生之通达，蔡邕之文学，张衡之精思，卓茂之循良，李膺之高节，黄宪之雅度，邓禹之功勋，有不可一二数者。
王夫之：何休、郑玄之治经术，京房、襄楷、郎顗、张衡之论治道，始以鬼魅妖孽之影响乱六籍。而上动天子，下鼓学士，曰此圣人之本天以治人也。
郭沫若：张衡（79－139）东汉末叶杰出的文学家，他的两京赋在汉代文学中有优越地位。但在天文方面，他也有独到成就。年四十时（公元117年）制成浑天仪，以观察天体运行。其后十五年，又制成候风地动仪，以测候地震。如此全面发展之人物，在世界史中亦所罕见，万祀千龄，令人敬仰。
翦伯赞《中国史纲要》：浑天说的代表人物，是东汉的太史令张衡。张衡是有名的文学家，又是反谶纬的思想家，也是杰出的科学家。
范文澜《中国通史简编》：王充的著作，有益于科学思想，张衡的发明，推进了科学知识。论衡与地动仪是东汉两大创造，王充与张衡是东汉文化界的两个伟人。
白寿彝：张衡是中国历史上一个伟大的科学家和文学家。他的文学创作反映了他在仕途生活中遭受的曲折和坎坷，他在辞赋、诗歌和散文等方面都有优秀的业绩，表现了独创性。
钱伟长：张衡创浑天学说，作浑天仪......其精巧为以前中外所未有。张衡不但对于天文有很好的成就，他还发明了候风地动仪。同时，他也是有数的文学家和艺术家。他死后崔瑗为之撰碑说他‘数术穷天地，制作侔造化。’无疑地像张衡这样人，在任何时代，统可成为一个凤毛麟角的人......张衡创造了浑天学说，说明天象的运行原则。根据他所测绘的星图——‘灵宪图’这便是现代‘假天仪’的原始鼻祖。远在机械工业发展前约二千年的祖国，竟能发明制作出这样精巧的仪器，真是惊人而值得我们崇拜了。汉代学者蔡邕参观了这个仪器，曾经有愿意终生偃卧在浑天仪里的感叹，足见张衡的伟大和浑天仪的精巧绝伦了。
赖家度：张衡在一生中，努力学习，刻苦钻研，毫不倦怠和自满，精益求精的前进。不论在知识领域的那一方面，他的造诣都是广博而精深的；文学艺术上有他的优秀作品，天文历算上有他的综合研究，机械制造上有他的特殊技巧，而在学术思想上他曾坚持着反图谶的斗争，在政治实践上他也曾有积极而进步的活动；尤其在自然科学方面，他有如浑天仪和地动仪等的空前发明。这些丰富而珍贵的劳绩，在我们祖国和全世界的科学史上都占着崇高的地位，值得我们纪念和学习。
严济慈：精仪揭天地，科圣著千秋。
《恒星物理》：张衡‘在人类文化早期发展的时期就有实验科学上的伟大发现，实为不可思议的奇迹。’
《简明不列颠百科全书》：张衡两度任太史令，是中国古代宇宙结构理论浑天说的代表。
