张耒原籍亳州谯县（今安徽亳州），后迁居山阳县（今淮安市淮安区，原县级淮安市）。马端临《文献通考》作“谯郡人”，秦少游《书晋贤图后》记载：“独谯郡张文潜与余以为不然……”，他在《思淮亭记》中称“予淮南人也，自幼至壮，习于淮而乐之。”。张耒从小就受着正统的封建诗礼的熏陶，加之受业于“山阳学官”，少年时即表现出对文辞的灵感，“十有三岁而好为文”（《投知己书》），十七岁作《函关赋》，传诵人口。此后，他游学于陈州，得到当时在陈为学宫的苏辙的厚爱。
熙宁四年（1071年），苏轼出任杭州通判前，来陈州与其弟话别，张耒得以谒见苏轼，颇受青睐，自此便成为苏氏兄弟的门下客，并在东坡引荐下，应举姑苏。
熙宁六年（1073年），由神宗亲策为进士，王安石负责提举，授临淮（今安徽泗县）主簿，开始步入仕途。
熙宁八年（1075年），苏轼在密州修“超然台”，张耒应约写了《超然台赋》。苏轼称他“超逸绝尘”，有秀杰之气，这是他们诗文交往的开始。与此前后，张耒与秦观、晁补之也有诗文唱和，结为知交。
熙宁六年至元丰八年（1073年-1085年），张耒先后在安徽、河南等地做了十多年县尉、县丞一类地方官，并因秩满改官不断，往来京洛间，为政特别辛劳。“我迂趋世拙，十载困微官”（《悼逝》），“飘然羁孤，挈其妻孥，就食四方，莫知所归”（《上蔡侍郎书》）说的就是这段经历。张耒为官清廉，他本想凭着他那微薄的俸禄养其亲小，淡泊平生，然厄运频频而至，他的父母、前妻相继谢世，家境每况愈下，经济拮据，生活困窘。
元丰八年（1085），神宗崩，年幼的哲宗登位，支持旧党的高太后垂帘听政，起用反变法派司马光，苏轼、苏辙相继奉调晋京。
元祐元年（1086年）大臣范纯仁荐举张耒参加太学学士院考试。这次被荐参加考试的还有黄庭坚、晁补之等人，由翰林学士苏轼命题，考试结果三人同被拔擢，张耒被任为秘书省正字，其后历任著作佐郎、秘书丞、史馆检讨，直到起居舍人。
元祐二年（1087年）春，苏轼主持礼部贡举，张耒被聘为读卷官，入试院检点审阅举子试卷。
元祐三年（1088年），秦观被召到京师，任太学博士，校正秘书，亦入苏轼门下。在暇日与张耒或举酒欢宴，或同游京都名胜，诗文酬唱，作画题跋，互相砥砺，共受苏轼薰沐。这是他们难以忘怀的欢乐年代，也是北宋文坛上的盛事。他们“一文一诗出，人争传诵之，纸价为贵”。馆阁八年，张耒有缘披览国家藏书，过着“图书堆枕旁，编简自相依”的生活，其文翰学术也日有进益。
宋哲宗亲政后，新党得势，竭力报复元祐旧臣，随着苏轼等人的被贬，苏门弟子也受到株连。绍圣元年（1094年），张耒在以直龙图阁知润州（今镇江）任上，徙宣州（今宣城）。
绍圣四年（1097年），贬黄州（今湖北黄冈）酒税监督，再贬复州（宋地名，今湖北天门）监竟陵郡酒税。
元符二年（1099年），起为黄州通判。宋徽宗即位，四十七岁的张耒一度内召为太常少卿，后又被启用为兖州、颍州（今阜阳）知州，但为时都很短促。当时苏轼自海南迁内地，张耒赋诗相庆；“今晨风日何佳哉?南极老人度岭来。此翁身如白玉树，已过千百大火聚。”不久，噩耗传来，苏轼于途中卒于常州。张耒在颍州举哀行服，痛悼一代文豪和恩师。未想竟触怒了上方，于崇宁元年（1102年）被贬为房州（今湖北房县）别驾，安置于黄州，他在黄州先后共住了七八年，作为逐臣，他不得住官舍和佛寺，只能在柯山旁租屋而居。荒树枯木，蓬蒿满眼，自然令人惆怅莫名，但“江上鱼肥春水生，江南秀色碧云鬟”，倒也给他不少安慰。特别值得一提的是在柯山脚下，张耒与苏轼弟子潘大临结为紧邻，两人彼此安慰，相濡以沫，共守大节。据载，当时的郡守瞿汝文怜其家贫，欲为其购买一份公田，以种植豆粟蔬菜等，贴补家用，张耒敬谢不取。正是此地的哀和乐使他难以忘怀，故他自号为“柯山”。
崇宁四年（1105年），秦观的儿子自藤州（今广西藤县）奉父柩归葬扬州，路过黄州时张耒临江祭奠，他为好友的“窜身瘴海，卒仆荒陋”而痛哭失声。泪水未干，黄庭坚又相继去世。
崇宁五年（1106年），宋徽宗诏除一切党禁，张耒才得任便居住。这年冬天，他自黄州经颍州，回到故乡淮安，大约住了一年多时间。
大观年间，移居陈州，监南岳庙，主管崇福宫。由于晚年长期赋闲，他贫病交加，《岁暮即事寄子由先生》云，“肉似闻韵客，斋如持律徒。女寒愁粉黛，男窘补衣裾。已病药三暴，辞贫饭一盂。长瓶卧墙角，短褐倒天吴。宵寐衾铺铁，晨饮火数珠。”可以想见他当时已衣食不继，三月不知肉味了。诗人就这样坚持着，继苏辙和晁补之谢世之后，也在寂寞和痛苦中死去，据乾隆《山阳县志》载，葬于故土淮安“治北七里”。
张耒平生仕途坎坷，屡遭不幸，可他从未忘怀操写诗文。其著作被后人多次雕版印行，名为《柯山集》、《张右史文集》、《宛丘集》等，今人李逸安、孙通海、傅信三人编辑的《张耒集》，收诗约二千三百首，散文、史论、议论近三百篇。
其文集今存主要有四种版本：《宛丘先生文集》七十六卷，存清康熙吕无隐钞本、《四库全书》本等。《柯山集》五十卷、拾遗十二卷，存武英殿聚珍版本、广雅书局刻本，见于《宛丘先生集》而不见于《柯山集》的诗文，均辑入该本《拾遗》。《张右史文集》六十五卷，存明万历抄本、清雍正七年谢浦泰抄本等。《张文潜文集》十三卷，存明嘉靖三年郝梁刻本。四种版本文集所收篇目互有差异。中华书局1999年出版有李逸安等校点《张耒集》，较为完备精审。张耒还撰有《明道杂志》一卷，南宋庆元时陈升刻于黄州，现存明刻本、《唐宋丛书》本、《学海类编》本。《全宋词》第一册收其词六首。《全宋诗》卷一一五五至一八七录其诗三十三卷。《全宋文》卷二七五○至二七七一收其文二十二卷。事迹见《东都事略》卷一一六、《宋史》卷四四四本传。近人邵祖寿编有《张文潜先生年谱》一卷。
由于他自己早年生活穷困，颠沛流离，后又屡遭贬谪，长期任地方卑官，对社会现实体察甚深，因而对劳苦百姓的关心也颇切，如在《劳歌》一诗中对那些“筋骸长彀”、“半衲遮背”的“负重民”以怜悯；在《和晁应之悯农》一诗中对那些“夜为盗贼朝受刑”的“南山壮儿”以同情等等，等等。也正因为其“哀哉天地间，生民常苦辛”（《粜官粟有感》）的悯农意识，才使他在政治观点上追随苏轼，反对王安石的“变法”，而在实践中则主张富国强民，改革弊政，以减轻人民负担，这与司马光等人纯粹的因循守旧乃是有着本质区别的。与此同时，面对辽、夏对北宋的侵凌，他也积极主张开边御敌，建立奇功。他的《少年行》、《昭陵六马》、《听客话澶渊事》等无不洋溢着一股勃郁的爱国主义精神，读来令人感奋不已。
张耒对诗文创作亦有他自己的观点，其核心则是以理为主，辞情翼之。“学文之端，急于明理，如知文而不务理，求文之工，世未尝有也。夫决水于江、河、淮、海也，顺道而行，滔滔汩汩，日夜不止，冲砥柱、绝吕梁，放于江湖而纳之海，其舒为沦涟，鼓为波涛，激之为风飙，怒之为雷霆，蚊龙鱼鳖，喷薄出没，是水之奇变也。水之初，岂若是哉!顺道而决之，因其所遇而变生焉。……江、河、淮、海之水，理达之文也，不求奇而奇至矣。”（《宋史》本传）。又云：“文章之于人，有满心而发，肆口而成，不待思虑而工，不待雕琢而丽者，皆天理之自然而情性之道也”（《贺方回乐府序》），一时之学者奉为至言。平心而论，强调在创作过程的发抒真情、笔随意驱，自有其合理性的一面，而且的确也是把握了文艺创作的规律，但一味地否认构思、修饰、琢磨、锤炼等在创作过程中的必要性，则又不免矫枉过正。作者本人的创作也正因了其自立的樊篱，因而多少显得肌理有余而文采不足，略嫌枯槁相。其创作成就前未及东坡（苏轼），后不如放翁（陆游），痼或即是。
张耒是北宋中晚期重要的文学家，为苏门四学士之一。其论文学创作渊源于三苏，提倡文理并重，以为“文以意为车，意以文为马，理强意乃胜，气盛文如驾”（《与友人论文因以诗投之》）。在《答李推官书》中他又明确申说学文在于明理，“如知文而不务理，求文之工，世未尝有是也”。在文章风格上，他反对奇简，提倡平易；反对曲晦，提倡词达；反对雕琢文辞，力主顺应天理之自然，直抒胸臆，“文章之于人，有满心而发，肆口而成，不待思虑而工，不待雕琢而丽者，皆天理之自然，而情性之道也”（《贺方回乐府序》）。张耒的诗文正是其创作理论的具体体现，长短利弊皆本于此。其文风近似苏辙，苏轼对他有“汪洋冲澹，有一倡三叹之声”的称誉（《答张文潜书》），张表臣也称其文“雄深雅健，纤秾瑰丽，无所不有”（《张右史文集序》）。他擅长辞赋，《哀伯牙赋》抒发曲高者孤独无与，媚众者身安得志的愤闷，《鸣蛙赋》运用各类比喻形容蛙鸣，《雨望赋》描写风雨气势，在立意遣辞上都有超过唐人辞赋之处（《复小斋赋话》）。议论文立意警辟，文笔高奇，如《论法》、《敦俗论》、《悯刑论》诸篇，均为佳作。张耒的诗歌创作成就卓著，汪藻称其诗“体制敷腴，音节疏亮，则后之学公者，皆莫能仿佛”（《柯山张文潜集书后》）。《宋史》本传也说他至晚年，诗风益务平淡，效白居易体，乐府效张籍。诗歌取材广泛，在很多诗篇中反映了当时下层百姓的生活，像《仓前村民输麦行》、《劳歌》、《和晁应之悯农》诸篇，无论是题材，还是表现风格，都与唐代新乐府诗极为相近。张耒诗以平易流丽明快见长，很少使用硬语僻典，苏轼称赞他“气韵雄拔，疏通秀明”（《曲洧旧闻》卷五引），晁补之亦谓“君诗容易不著意，忽似春风花自开”（《题文潜诗册后》）。他作诗喜欢学习唐人，在集中有很多模仿杜甫、李白、韦应物的篇章，开北宋诗人学习唐调风气之先。他注重炼句，吕本中《童蒙诗训》云：“文潜诗自然奇逸，非他人可及，如‘秋明树外天’，‘客灯青映壁，城角冷吟霜’，‘浅山塞带水，旱日白吹风’，‘川坞半夜雨，卧冷五更秋’之类，迥出时流”（《苕溪渔隐丛话》前集卷五一）。此类佳句可谓俯拾皆是。但是张耒的诗过分强调“满心而发，肆意而成”，因此部分作品显得粗率质直，朱熹曾批评说“张文潜诗有好底多，但颇率尔”，又云“张文潜诗只一笔写去，重意、重字皆不问，然好处亦是绝好”（《朱子语类》卷一四○）。张耒词作不多，词风柔情深婉，与秦观词相近。其《风流子》（木叶亭皋下）叙写秋思离愁，铺景朗倩，烘托愁绪无极（《草堂诗余》正集卷六沈际飞评）。张耒的文集，在南宋时即有多种刻本传世：罗仲洪刊本《柯山集》十卷，汪藻刊本《张龙阁集》三十卷，张表臣刊本《张右史文集》七十卷，井晦之刊本《谯郡先生集》一百卷（均见周紫芝《书谯郡先生文集后》）。
其诗早年体制丰腴，音节浏亮，东坡称之“汪洋冲淡，有一唱三叹之音”，晚岁落其华，趋务平易，酷肖白乐天（居易）、张文昌（籍），一时独步吟坛；其文则雄深雅健。纤秾瑰丽，无所不有，蔚然成家。
南宋高宗即位后，下诏追赠苏轼为资政殿学士，赠张耒集英殿修撰，诰词说：“四人以文采风流为一时冠，学者欣慕之及继述之”。既概述了张耒等人的影响，又肯定了其文学成就，终于使张耒等巨名昭彰，流芳千秋。
在苏轼、苏辙、黄庭坚、晁补之、秦观等相继辞世后，仍作为文坛中流砥柱，传道授业，光大文风。《宋史·文艺传》称其：“耒独存，士人就学者众。”
