在清代安徽桐城张氏家族中，张英、张廷玉、张若霭，祖孙三代，侍值内廷，颇受康、雍、乾三帝的青睐，可谓“合家顶戴”，满门朱紫。尤其张廷玉，“登朝垂五十年，长词林者二十七年，主撰席者二十四年，凡军国大事，奉旨商度”。
康熙十一年（1672年）九月九日，张廷玉生于京师。
康熙三十六年（1697年），二十六岁的张廷玉准备参加会试，但因其父张英奉命为总裁官而回避不试。康熙三十八年（1699年），张廷玉的夫人姚氏离世，父亲张英登上相位。
康熙三十九年（1700年），考中进士，授为翰林院庶吉士。康熙四十二年（1703年），张廷玉授翰林院检讨，开始担任《亲征平定朔北略》的纂修官。康熙四十三年（1704年）四月，入值南书房。康熙帝召他至畅春园，询问其父张英致仕居家近况。命他赋诗，张廷玉作七言律诗二首，颇得康熙帝称许。当日奉旨侍值南书房，特旨带数珠，著四品官服色。“辰（早七时）入戌（晚九时）出，岁无虚日。塞外启从，凡十一次，夏则避暑热河，秋则随猎于边塞”。圣祖车驾远巡遍历蒙古诸部落，“穷边绝漠，余（廷玉）皆洱笔以从”。张廷玉身居内廷，承袭父业，“久持讲握，简任机密”。
康熙四十四年（1705年）后，多次随康熙南巡及巡行蒙古诸部。康熙四十七年（1708年）六月，张廷玉母亲离世。九月，父亲张英离世。服阕，仍原官。康熙五十一年（1712年）二月，充会试同考官。四月，授司经局洗马，兼翰林院修撰。康熙五十五年（1716年），授内阁学士兼礼部侍郎。康熙五十六年十二月（1718年1月），充经筵讲官。康熙五十七年（1718年）十月，充武英殿试读卷官，十一月，充纂修《省方盛典》副总裁官。
康熙五十九年（1720年）五月，授刑部左侍郎。次年授吏部左侍郎，兼翰林院士。康熙六十年（1721年）二月，身任刑部右侍郎的张廷玉奉旨与都统耗赖等赴山东稳妥地处理了盐贩王美公等“聚众劫掠屯庄”案。六月，调吏部左侍郎。他“绝苞且，杜请花，锉玫肃然”。张廷玉涉政不久，他的才干便崭露头角。
康熙六十一年（1722年）十一月，康熙帝驾崩于畅春园，皇四子胤禛入承大统。经过二、三十年的艰苦激烈的奋争，胤禛深觉皇位来之不易，为了实现自己夺得皇位的夙愿，大力扶植和培养自己的势力。他曾说：“为政以得人为要，不得其人，虽食法美意，徒美观听，于民无济也。”于是，慎选张廷玉作为辅佐他筹划军国大政的主要助手。张廷玉在《澄怀主人自订年谱》中记述了胤禛相中他，并对他赋予厚望。一是他学问优长，“气度端凝、应对明晰”，有才干。二是他为自己恩师张英之子。这对胤禛来说是日后难得的贴己之人。圣祖新逝，胤禛登极，即命张廷玉兼学士衔，协同翰林院掌院学士阿克敦等办理大事典礼翰墨，供几筵祭告文字。康雍之交，政务殷繁，谕旨每日下数十次，皆由张廷玉承命应办。若有紧急奏事，胤禛令他入大内，口授大意，或于御前伏地而书，或隔帘授几。稿就即呈御览，“精敏详瞻，悉当圣意”。同年十二月，特旨授礼部尚书，并指出：“朕再四思维，非汝不克胜任”。从此，张廷玉跻身于枢臣之列。
雍正元年（1723年），张廷玉复值南书房，与朱轼等人同为诸皇子师傅。四月，任顺天府乡试主考官。雍正帝嘉其公慎，加太子太保。八月，署理都察院事，兼管翰林院掌院学士事。九月，调任户部尚书。十月，张廷玉任四朝国史总裁官。雍正初年，清廷在西北对蒙古准噶尔部大举用兵。由于两路大将军用兵失机，准部叛兵屡扰边境。雍正帝心情焦劳，频繁指授方略。张廷玉“日侍内值，自朝至暮，不敢退，间有待至一二鼓”。雍正六年（1728年）三月，晋保和殿大学士。不久又兼管吏部尚书事务。
雍正七年（1729年），雍正在隆宗门开始设立军机处，命张廷玉与怡亲王胤祥、蒋廷锡领其事。雍正帝将军需一应事宜交怡亲王胤祥、大学士张廷玉、蒋廷锡密为办理。之后，雍正帝以内阁在太和门外，侍值者多虞泄漏，“始设军机处于隆宗门内，为承旨出政之总汇”。张廷玉拟定了办理军机处的规制：“诸臣陈奏，常事用疏，自通政司上，下内阁拟旨；要事用折，自奏事处上，下军机处拟旨，亲御朱笔批发”。应当说，雍正帝设立军机处，其主要制度都是张廷玉所筹划的。正是从这时起，大学士“必充军机大臣，始得予政事，日必召入承旨，平章政事，参与机密”。张廷玉不仅典掌军机，又兼理吏部、户部要职。总裁乾隆《吏部则例》等典章制度，对清朝政治制度的确立奠定了基础。
雍正十二年（1734年）七月，雍正帝特召两路领兵将军返京，与王公、满汉文武大臣共同商议，博采众论，详慎筹划。和硕康亲王巴尔图主张两路士兵已驻扎边陲，叛军的地势情形俱已深悉，粮草、马驼、军装、器械，无不预备整齐。乘此北路、西路“约会齐进，并力歼除”。当时力主用兵者居多。而张廷玉坚持遣使宣谕，并起草奏疏一稿，随其签名的大臣有十余人。雍正帝最终降旨采纳了张廷玉遣使宣谕的建议。尽管对准部的作乱最终还是用战争来解决问题，但张廷玉的言论对雍正帝的影响是很大的。
雍正十三年（1735年），雍正帝病危。临终前，张廷玉与庄亲王允禄、大学士鄂尔泰等同为顾命大臣，遗诏他日以张廷玉配享太庙。乾隆帝即位后，奉大行皇帝遗命，由庄亲王允禄、果亲王允礼、大学士鄂尔泰、张廷玉辅政。因他们恳辞，以总理事务王大臣称职。乾隆元年（1736年），张廷玉再次奉命为皇子师傅，仍兼管翰林院事。二月，乾隆帝亲谒景陵，张廷玉与王大臣留京总理事务。自此以后，皇帝每逢巡幸，张廷玉总是留京总理事务。乾隆帝还总是将他留京总理朝政，夜宿紫禁城，并典试科举，选拔人才，考察荐举官吏。张廷玉虽政务繁重，因学间深通，还荣膺雍乾两代皇子师傅；兼任编纂《清圣祖实录》、《明史》、《大清会典》、《皇清文颖》、《清世宗实录》、《玉碟》等重要典籍的总裁官。
乾隆二年（1737年）十一月，授总理事务大臣，加拜他喇布勒哈番，特命进三等伯爵，赐号勤宜。乾隆三年（1738年），乾隆帝将临辟雍视学，举“三老五更”古礼。张廷玉上疏指出，“待人行，事因时起”，古礼不可行。同年，罢总理事务之名而以大学士掌机要。
乾隆八年（1743年）十月，朝官条奏，“取士之法，不当专用制科试士之法，不当专用制艺者”。他“力持以为不可更张，当以仍旧为善”。又有朝官奏请“均田限田”，他以“事属难行，徒滋扰累”为由，也力主不准。尽管这些事没有影响乾隆帝对他的宠幸，譬如，清朝本无文臣封公侯伯之例，却封张廷玉为伯爵，“系格外加殊恩”。然而，年逾古稀的张廷玉的固执和好激动，使他与乾隆帝之间渐生嫌隙。
乾隆十年（1745年）四月，鄂尔泰病故，讷亲取代了他。虽然张廷玉面奏内阁班次应讷亲居首，但其心中亦有难言之隐。为了平衡各种因素，确定“嗣后内阁行走列名，讷亲在前。吏部行走列名，张廷玉在前”。乾隆帝的种种做法，实际上是加剧了满汉臣僚之间的矛盾，使他们很难协调，以致明争暗斗、互不尊服。张廷玉与鄂尔泰共事十余年，“往往竟日不交一语”。鄂尔泰有所过失，他必微语讥讽，使鄂尔泰无地自容。
乾隆十三年（1748年）正月，张廷玉陈疏以老病乞休。乾隆帝专降谕旨：“卿受两朝厚恩，且奉皇考遗命，将来配享太庙。岂有从祀元臣归田终老之理？”宣谕慰留。
乾隆十四年（1749年）正月，命他如宋代文彦博旧例，十日一至都堂议事，四五日一入内廷备顾问。当年冬天，张廷玉再次乞求离职养病。乾隆帝批准以原官致仕，并御制诗三章赏赐。张廷玉入谢，而见乾隆帝时，上奏说：“以前世宗宪皇帝破格给予臣厚恩，遗命臣配享太庙，去年跟从陛下祭祀时又有挽留臣告老回乡的谕旨，臣恐怕死后不能有这样高的待遇啊，而且外间也有类似的议论。”他免冠叩首，请求乾隆帝出一个凭证。乾隆帝很不高兴，但还是拟了手诏，申明雍正帝的成命，并赐诗以安其心。诗云：“造膝陈情乞一辞，动予矜恻动予悲。先皇遗诏惟钦此，去国余恩或过之。可例青田原佑庙，漫愁郑国竞摧碑。吾非尧舜谁皋契，汗简评论且听伊。”次日，张廷玉具折谢恩，遣子张若澄入宫向乾隆帝谢恩。乾隆帝因张廷玉不亲自谢恩颇为恼火，传旨令他明白回奏。当时，由军机大臣傅恒、汪由敦传写谕旨，旨还未下达。翌日黎明，张廷玉即来内廷谢恩。乾隆帝更为不快，认为这是军机处泄露消息的原故。切责了汪由敦漏言。于是廷臣会议，商议剥夺张廷玉的官爵，罢去配享太庙的优容。于是乾隆帝下令削去他的伯爵。
乾隆十五年（1750年），皇长子永璜刚去世不久，张廷玉再次请求归乡，激怒了乾隆帝，于是命以太庙配享诸臣名示张廷玉，命其自审应否配享。乾隆帝用大学士九卿议，罢配享，免治罪。随后归去。后来又因四川学政编修朱筌坐罪，命张廷玉尽缴颁赐诸物。乾隆二十年（1755年）三月二十日，张廷玉卒于家中，享年八十四岁。死后葬于龙眠山，乾隆帝最终仍遵清世宗遗诏，命配享太庙。
整治吏治
康熙末年，吏治松弛、政治不清，张廷玉时任吏部左侍郎，坚决摒除请托行贿之风，并严惩了奸胥滑吏并顶住各方压力严惩了吏部舞文弄法的蠧吏“张老虎”，被时人成为“伏虎侍郎”。
张廷玉首先从小处做起，堵塞住所有漏洞。由于深得康熙皇帝信任，他曾经三任会试同考官，这在当时几乎是无人能及的。一般人很容易在任考官时收受好处，即使考前不收好处，考完之后，被录取的进士们作为门生来给老师送上礼金，作为答谢，称为“纨敬”，这在当时是普遍现象，也是一种约定俗成的俸禄之外的补充收入。而张廷玉不仅在入闱之前摒绝送礼，试毕门生来谢，他也一律只象征性的收一点礼品，而绝对不受重金。他以同乡左光斗的故事勉励自己也教育门生：左光斗是明朝名臣，在他早年参加乡试时，手持装帧精美的柬帖来拜谢房师陈大绶，陈大绶接见了他，勉励他许多话，但却不收他的拜帖，认为帖子太豪华了，告诫他“今日行事俭，即异日做官清，不就此跕定脚跟，后难措手”。张廷玉以陈大绶的行为要求自己，同时告诫自己的门生，清廉要从小处做起：“不矜细行，终累大德。”
奏章制度
清朝入关之初，沿袭前明旧制，官员有事报告皇帝，公事用题本，私事用奏本。题本盖印，奏本不盖印。这两种文书都是公开的，不利于下情上达；而且题本办文程序繁琐，还容易泄密。雍正年间，张廷玉把奏折制度化，稍微重要一点的事务，地方官员都先撰拟奏折，经过皇帝朱批，认可之后才写题本作正式报告。但奏折中的朱批内容，不得写入题本。题本由此成为官样文章，奏折代替了原来题本的作用，成为主要官方文书。这一制度坚持到清末。
张廷玉还制定了完善的保密制度，为了保证奏折的内容不致泄漏，清廷定立了一整套保密制度，使奏折制度更加完善起来。自此以后，作为一种官文书制度的奏折制度才被确立下来。它不仅牵涉朝廷政令的推行，而且关乎君臣间权力的分配。它的确立和军机处的设立一样，都是清朝官僚政治上的重大变化，对清朝中后期的政治产生了十分巨大而深远的影响。
军机制度
雍正八年（1730年）因西北用兵，雍正皇帝命设军机房，以怡亲王允祥、张廷玉和大学士蒋廷锡领其事。“军机处初设，职制皆廷玉所定”。张廷玉定规制：“诸臣陈奏，常事用疏，自通政司上，下内阁拟旨；要事用摺，自奏事处上，下军机处拟旨，亲御笔批发。”身为军机大臣的张廷玉每天一定被召入内廷以备应对，秉承圣旨，评议奏章政务，参与国家机密的商讨。
军机处成为清朝的中枢机构并深深影响清代中后期的历史。张廷玉制定军机处廷寄办法，创廷寄之法，既保证了中央政令的严格贯彻，速度又较前加快，从而提高了清朝政府的行政效率。
安定流民
康、雍之交，有大批流民前来浙闽赣粤几省边界深山老林之中搭棚居住，以垦山种谷种麻、植靛、造纸、作菇为生，也有少许开炉冶铁维持生计者。他们呼朋引类在深山中滋养生息日久，人员愈多，既不可驱令回籍，又不听编入县册。去来任意，出入无常，偶遇年谷不登，辄结党盗窃，为地方之害。此事关系到朝廷的声誉与地方的制度，如不审慎妥善处理，势必酿成祸乱。张廷玉闻知此事便于雍正二年（1724年）正月向雍正帝奏谏一份旨在解决如此棘手问题的朝折，折中建议：查明有麻棚之州县，秉公拣选才守兼优之员保题补授。庶平时抚驭有方，流民奉其约束，临事捕缉有法，匪党不至蔓延。至安插之后，善为抚绥，并取具五家连环互结，又严行保甲之法，不时稽查。其中若有臂力，技勇之人与读书向学之子，许其报明本县，申详上司，分别考验，加恩收录。雍正帝阅后即朱批令发往赣浙诸省督抚行议。张廷玉此议对区分匪党，安抚流民，选贤任能，收服民心及实现边疆诸省的安定无疑都起到了颇为积极之效用。
宽限赋税
雍正十年（1732年），山东官吏奏销上年赋税“若有欠粮不完者当按惯例革除功名”。雍正帝询问众臣该如何办理此事。同官曰：“法当如此不褫无以警众”。上复问廷玉，廷玉对曰：“绅士抗粮罪因应褫”。第山东连年荒歉输将不给“情有可原”尚与寻常抗玩者有间。他跪请雍正帝昭法外之恩宽限一年。帝闻之心恻，遂降旨宽限三年。此次得免者凡一千四百九十七人。
奏改滥禁
张廷玉在奏改刑部滥禁之弊之奏折中直言指陈“刑部衙门遇八旗部院、步军统领衙门以及五城御史等交送人犯，不论曾经奏闻与否，亦不论情事之大小与罪犯之首从，一经锁送刑部……甚至有倾家痰毙者。及至定案时，而斩绞军流重犯原无几人，其余不过徒杖笞责之罪。且有偶尔干连审系无辜，应行释放者。如今年二月间刑部清查案件，省释者二百几十人，即此类也。”
在条奏中，张廷玉说明了刑部滥禁之弊。并依据他的司法实践经验针对办案程序提出了个人主张：1.抓人，张廷玉反对刑部在抓人过程中滥用公权，株连无辜。他反复说明并要求官吏只抓该抓的罪犯而非无辜百姓。2.收禁，针对负责审核各省重大刑案的刑部对众衙门所送之一干犯人，不论其罪行大小而将其一律收禁，以致无数无辜遭受株连之现象，张廷玉主张要按罪犯所犯罪行的轻重大小分为首犯“从犯”协犯，即按情事之大小与罪犯之首从分别予以收禁。3.收监取保，张廷玉主张受干连者无辜者应行释放。除重犯外不过是徒杖笞责之罪，可从轻处理，勿未等定案而将无辜者轻罪者“倾家痰毙”。4.判案，张廷玉提出判案应视犯罪事实具体犯罪情节，依法定程序定例遵行，省释无辜百姓。张廷玉于此处亦指出刑部官员在办案过程中存有合法性伤害等严重问题。
改滥引律例之弊
张廷玉在其上奏改刑部滥引律例之弊的折中指出：“律例之文，各有本旨，而刑部引用之时。往往删去前后文词。止摘中间数语。即以所断之罪承之。甚至有求其仿佛而比照定拟者。”臣思都察院、大理寺与刑部同为法司衙门。若刑部引例不确。应令都察院、大理寺驳查改正。倘驳而不改，即令题参。如院寺扶同朦混。或草率疏忽。别经发觉。则将都察院、大理寺官员一并加以处分。这说明当时刑部有些官员在援引法律条文判案时。常删去刑律法文之前后文而只录其间数语就判定所断罪名。
张廷玉为防范此类事情发生。提出了自己的看法和主张：1.说明律例的功用。指出法律条文各有本旨。对各种犯罪事实如何判决都有详细规定。2.揭露刑部官员在引用律文时。删除前后文词。只摘中间数语以判案。甚至求其案件相似而附会比照。内含刑部官员的私人目的及其利益关系。从而导致刑部严重的程式化办案判案之歪风程式化办案问题。3.问责落实到位。若都察院、大理寺等法司衙门发现刑部有引用法律条文不正确。即滥引律例的错处。应立即驳查改正。若在驳查责其改正之后。刑部等法司衙门驳而不改。即令御史弹劾题参有关违法官员。
雍正帝：①和平端正，学问优长，自简任机务，夙夜匪懈赞朕之不逮，正资倚任。②雍正帝登基伊始就说：朕在藩邸时，不欲与廷臣相按，是以未识汝面。囊者奉皇考命会同大学士办理公事，汝与学士趋跄其间。联见汝气度端凝，应一寸明晰，心甚器重之。询之旁人，知为吾张师傅之子。联心喜日：`吾师付有予矣’。后闻汝官刑部吏部皆有令名，更为喜慰。今见汝居心赤忠，办事敬诚，益知为天主所笃生，皇考所教养成兹伟器，以铺诩联躬者也。汝其勉之。③雍正亦赞扬他“器量纯全，抒诚供职”，称其为“大臣中第一宣力者”。④“朕即位十一年来，朝廷之上近亲大臣中，只和你一天也没有分离过。我和你义固君臣，情同密友。如今相隔月余，未免每每思念。”
乾隆帝：①“不茹还不吐，既哲亦既明”。②“要请之愆虽由自取，皇考之命朕何忍违！且张廷玉在皇考时，勤慎赞襄，小心书谕，原属旧臣，宜加优恤，应仍谨遵遗诏，配享太庙，以彰我国酬奖勤劳之盛典。”③“风度如九龄，禄位兼韦平。承家有厚德，际主为名卿。不茹还不吐，既哲亦既明。述旨信无二，万言倾刻成。善皇祖实录，记注能尽诚。以此蒙恩眷，顾命配享行。及予之莅政，倚任原非轻。时时有赞襄，休哉国之桢！悬车回故里，乞言定后荣。斯乃不信吾，此念讵宜萌？臧武仲以防，要君圣所评。薄惩理固当，以示臣道贞。后原与配食，遗训改或更？求享彼过昭，仍享吾意精。斯人而有知，犹应感九京。”
《清史稿》论曰：世宗初即位，擢鄂尔泰於郎署，不数年至总督。廷玉已贰礼部，内直称旨，不数年遂大拜。军机处初设，职制皆廷玉所定。鄂尔泰稍后，委寄与相埒。庶政修举，宇内乂安，遂乃受遗命，侑大烝，可谓极心膂股肱之重矣。顾以在政地久，两家子弟宾客，渐且竞权势、角门户，高宗烛几摧萌，不使成朋党之祸，非二臣之幸欤？
晚清大臣、学者李元度评价：“公以一名相子，迥翔卿贰，文学经济，已锡然负台辅望矣。”
