张耒原籍亳州谯县(今安徽亳州)，后迁居楚州（今淮安市楚州区）。马端临《文献通考》作“谯郡人”，秦少游《书晋贤图后》记载：“独谯郡张文潜与余以为不然……”，他在《思淮亭记》中称“予淮南人也，自幼至壮，习于淮而乐之。”。祖父任职于福建，父亲中进士后，游宦四方，官至三司检法官，因亲老，乞请离京做吴江知县。母亲李文安。外祖父李宗易先以著作佐郎为谯县知县，历官尚书屯田员外郎，知光化军事，仕至太常少卿，以诗文名世，长于写诗，深受当时的大诗人晏殊的赏识。正是在这样的家庭里，张耒从小就受着正统的封建诗礼的熏陶，加之受业于“山阳学官”，少年时即表现出对文辞的灵感，“十有三岁而好为文”（《投知己书》），十七岁作《函关赋》，传诵人口。此后，他游学于陈州，得到当时在陈为学宫的苏辙的厚爱。熙宁四年（1071年），苏轼出任杭州通判前，来陈州与其弟话别，张耒得以谒见苏轼，颇受青睐，自此便成为苏氏兄弟的门下客，并在东坡引荐下，应举姑苏。熙宁六年(1073年)，即张耒二十岁时，由神宗亲策为进士，王安石负责提举，授临淮(今安徽泗县)主簿，开始步入仕途。熙宁八年，苏轼在密州修“超然台”，张耒应约写了《超然台赋》苏轼称他“超逸绝尘”，有秀杰之气，“其文汪洋淡泊，有一唱三叹之声”(《答张文潜书》)，这是他们诗文交往的开始。与此前后，张耒与秦观、晁补之也有诗文唱和，结为知交。
熙宁六年至元丰八年(1073年-1085年)，张耒先后在安徽、河南等地做了十多年县尉、县丞一类地方官，并因秩满改官不断，往来京洛间，为政特别辛劳。“我迂趋世拙，十载困微官”（《悼逝》），“飘然羁孤，挈其妻孥，就食四方，莫知所归”（《上蔡侍郎书》）说的就是这段经历。张耒为官清廉，他本想凭着他那微薄的俸禄养其亲小，淡泊平生，然厄运频频而至，他的父母、前妻相继谢世，家境每况愈下，经济拮据，生活困窘。
元丰八年（1085)，神宗崩，年幼的哲宗登位，支持旧党的高太后垂帘听政，起用反变法派司马光，苏轼、苏辙相继奉调晋京。元祐元年(1086年)大臣范纯仁荐举张耒参加太学学士院考试。这次被荐参加考试的还有黄庭坚、晁补之等人，由翰林学士苏轼命题，考试结果三人同被拔擢，张耒被任为秘书省正字，其后历任著作佐郎、秘书丞、史馆检讨，直到起居舍人。元祐二年（1087年）春，苏轼主持礼部贡举，张耒被聘为读卷官，入试院检点审阅举子试卷。元祐三年(1088年)，秦观被召到京师，任太学博士，校正秘书，亦入苏轼门下。在暇日与张耒或举酒欢宴，或同游京都名胜，诗文酬唱，作画题跋，互相砥砺，共受苏轼薰沐。这是他们难以忘怀的欢乐年代，也是北宋文坛上的盛事。他们“一文一诗出，人争传诵之，纸价为贵”。馆阁八年，张耒有缘披览国家藏书，过着“图书堆枕旁，编简自相依”的生活，其文翰学术也日有进益。
宋哲宗亲政后，新党得势，竭力报复元祐旧臣，随着苏轼等人的被贬，苏门弟子也受到株连。绍圣元年（1094年），张耒在以直龙图阁知润州（今镇江）任上，徙宣州（今宣城）绍圣四年（1097年）贬黄州（今湖北黄冈）酒税监督，再贬复州（宋地名，今湖北天门）监竟陵郡酒税。元符二年(1099年)起为黄州通判。宋徽宗即位，四十七岁的张耒一度内召为太常少卿，后又被启用为兖州、颍州(今阜阳)知州，但为时都很短促。当时苏轼自海南迁内地，张耒赋诗相庆；“今晨风日何佳哉?南极老人度岭来。此翁身如白玉树，已过千百大火聚。”不久，噩耗传来，苏轼于途中卒于常州。张耒在颍州举哀行服，痛悼一代文豪和恩师。未想竟触怒了上方，于崇宁元年(1102年)被贬为房州(今湖北房县)别驾，安置于黄州，这是他在短短六七年内第三次被贬到那里，他在黄州先后共住了七八年，作为逐臣，他不得住官舍和佛寺，只能在柯山旁租屋而居。荒树枯木，蓬蒿满眼，自然令人惆怅莫名，但“江上鱼肥春水生，江南秀色碧云鬟”，倒也给他不少安慰。特别值得一提的是在柯山脚下，张耒与苏轼弟子潘大临结为紧邻，两人彼此安慰，相濡以沫，共守大节。据载，当时的郡守瞿汝文怜其家贫，欲为其购买一份公田，以种植豆粟蔬菜等，贴补家用，张耒敬谢不取。正是此地的哀和乐使他难以忘怀，故他自号为“柯山”。
崇宁四年(1105年)，秦观的儿子自藤州(今广西藤县)奉父柩归葬扬州，路过黄州时张耒临江祭奠，他为好友的“窜身瘴海，卒仆荒陋”而痛哭失声。泪水未干，黄庭坚又相继去世。崇宁五年，宋徽宗诏除一切党禁，张耒才得任便居住。这年冬天，他自黄州经颍州，回到故乡淮安，大约住了一年多时间。大观年间，移居陈州，监南岳庙，主管崇福宫。由于晚年长期赋闲，他贫病交加，《岁暮即事寄子由先生》云，“肉似闻韵客，斋如持律徒。女寒愁粉黛，男窘补衣裾。已病药三暴，辞贫饭一盂。长瓶卧墙角，短褐倒天吴。宵寐衾铺铁，晨饮火数珠。”可以想见他当时已衣食不继，三月不知肉昧了。
尽管政治环境是如此恶劣，生活是如此困穷，但诗人并没有向腐朽的蔡京集团屈服。以闻道苏轼自负，终生恪守不移，即使遭受打击也不后悔，且引为人生最大的志趣。诗人就这样坚持着，继苏辙和晁补之谢世之后，也在寂寞和痛苦中死去，据乾隆《山阳县志》载，葬于故土淮安“治北七里”。
据陆游《老学庵笔记》云：“文潜三子：秬、秸、和，皆中进士第。秬、秸在陈死于兵。和为陕西教官，归葬二兄复遇盗见杀。文潜遂无后，可哀也。”