早年曾参加朝廷举行的贤良方正科考试，应诏策论被评为第一，但因武则天认为“近古以来未有甲科”，乃屈居乙等，被授为太子校书郎，又升任左补阙。后来，在王孝杰军中担任节度管记，随其征讨契丹。
圣历二年（699年），参与修撰《三教珠英》。
大足元年（701年），《三教珠英》修撰完成，并以修书之功升任右史、内供奉，负责考功、贡举等事务。
长安三年（703年），因不肯诬陷魏元忠而得罪男宠张易之、张昌宗兄弟，后被流放到岭南的钦州（治今广西钦州）。
神龙元年（705年），唐中宗李显复位。张说被从岭南召回朝中，担任兵部员外郎，后累升至工部侍郎。
景龙二年（708年），因母亲去世，离职守孝。服丧期满，复任工部侍郎，不久又改任兵部侍郎，加弘文馆学士。
景云元年（710年），唐睿宗李旦继位，以张说为中书侍郎，兼雍州长史。是年八月，前往洛阳负责审讯谯王李重福谋反一事，仅用一晚便将案件查清。之后，与国子司业褚无量一同担任皇太子李隆基的侍读。
景云二年（711年），升任宰相，以本职加领同中书门下平章事、监修国史。当时，太平公主交结朝臣，干预朝政，图谋废掉太子。他进言让太子监国，定下君臣名份。后来，张说改任兵部侍郎，仍领同平章事。
先天元年（712年），李旦禅位，太子李隆基称帝，史称唐玄宗。因在此之前不肯阿附太平公主，被罢去宰相之职，贬为尚书左丞、东都留守。他派使者献给李隆基一把佩刀，暗示他要果断行事，尽早铲除太平公主。
开元元年（713年），唐玄宗诛杀太平公主。张说被征拜为中书令，封燕国公。不久，唐玄宗更改官职名称，张说被改封紫微令。后想阻止姚崇任相，但没有成功。
姚崇任相后，张说非常害怕，私自到岐王李范府中申述诚意，结果被姚崇告发。张说被贬为相州刺史，充任河北道按察使。不久，张说又被他事牵连，再贬为岳州刺史。
716年（开元四年），苏颋担任宰相。张说撰写一篇《五君咏》，在苏瑰忌日时献给苏颋，其中一则是记载苏瑰的故事。苏颋非常感动，向玄宗进言，改任张说为荆州长史。不久，张说改任右羽林将军，兼检校幽州都督。
719年（开元七年），张说任检校并州大都督长史兼天兵军大使，代理御史大夫，同时在军中修撰国史。
721年（开元九年），平定叛胡，被召拜为兵部尚书、同中书门下平章事。
722年（开元十年），担任朔方节度大使，并巡视边防五城。
723年（开元十一年），唐玄宗回京，升张说为中书令。不久，唐玄宗设立丽正书院，并任命张说为修书使，主持其事。
725年（开元十三年），唐玄宗将丽正书院改为集贤殿书院，任命张说为集贤院学士，知院事。同年，玄宗封禅泰山，临行前任命张说为右丞相兼中书令，并命张说撰写《封禅坛颂》，准备刻在泰山之上。
726年（开元十四年），唐玄宗打算重用河南尹崔隐甫，结果在张说的干涉下，任命他为御史大夫。不久，崔隐甫、宇文融和御史中丞李林甫一起上书唐玄宗，弹劾张说勾引术士占星、徇私舞弊、收受贿赂。唐玄宗便命源乾曜与崔隐甫、刑部尚书韦抗、大理少卿明珪等人一起在御史台审讯张说，结果罪状大多属实。
张说被罢政事后，就在集贤院专修国史，又要求免去右丞相一职。唐玄宗不许，并且在遇到军国大事时，仍旧派人去询问他的意见。崔隐甫等人怕玄宗还会起复张说，对他百般诋毁。
727年（开元十五年），唐玄宗勒令张说致仕退休。
729年（开元十七年），唐玄宗命张说兼任集贤殿学士。
729年（开元十七年），张说被任命为尚书右丞相、集贤院学士。不久，接替源乾曜为尚书左丞相。后因修撰《谒陵仪注》有功，加封开府仪同三司。
730年（开元十八年）十二月，病逝，终年六十四岁。唐玄宗在光顺门为他举哀，亲自撰写神道碑文，并罢元旦朝会，追赠太师，赐谥文贞。
张说著有文集三十卷、《今上实录》二十卷（与唐颍合撰）、《洪崖先生传》一卷，并参与编修《三教珠英》。
《全唐文》收录有其文211篇，分为13卷（卷221－卷233）；《全唐诗》收录有其诗293首，分为5卷（卷85－卷89）。
李隆基：①兵部尚书同中书门下三品燕国公张说，道合忠孝，文成典礼，当朝师表，一代词宗。有公辅之材，怀大臣之节。储宫侍讲，早申翼赞，台座訏谟，备陈匡益。入则式是百辟，出则赋政四方，嘉绩简於朕心，茂功著於王室。赉予良弼，光辅中兴，乃眷专车，是称枢密。②故开府仪同三司、尚书左丞相、集贤院学士知院事、上柱国、燕国公张说，辰象降灵，云龙合契。元和体其冲粹，妙有释其至赜。挹而莫测，仰之弥高。精义探系表之微，英辞鼓天下之动。昔侍春诵，绸缪岁华。含舂容之声，叩而尽应；蕴泉源之智，启而斯沃。授命兴国，则天衢以通；济用和民，则朝政惟允。司钧总六官之纪，端揆为万邦之式。方弘风纬俗，返本于上古之初；而迈德振仁，不臻于中寿之福。
张九龄：应有期之运，降不世之英，坦高轨以明道，谨大节而立诚。悬镜待人，虚舟济物，妙用无数，精心惟一。明未联而先睹，听有馀而每黜，犹豹变而成文，尝凤鸣而中律。故能羽翼圣后，丹青元化，陈皋陶之谟谋，尽仲山之夙夜，道因虑於文武，业惟永於王霸，绸缪恩渥，荏苒代谢。国重元辅，门承下嫁，实大我之宗盟，与人君之姻娅。天盖福善，地益华宗，赫赫为尹，岩岩比崇，不享黄发，如何元穹？既道长而运短，岂祥降而惠终？人亡令则，国失良相，学堕司南，文殒宗匠。
