光绪二十四年（1898年）3月14日生于河南项城，系张镇芳之子，袁世凯的表侄。
光绪三十年（1904年），与一个妹妹一起过继其伯父张镇芳。7岁入私塾，9岁能写诗，享有“神童”之誉。
宣统三年（1911年），张伯驹与袁世凯的几个儿子一起入天津新学书院，开始了学校生活。新学书院是天津的最早由外国教会办的学院，1902年由英国基督教伦敦会创办。院址在法租界海大道（原和平区大沽路十七中学校址）。
民国元年（1912年），父亲张镇芳由署理直隶总督转任河南都督，张伯驹随父赴河南开封，入河南陆军小学读书。
民国三年（1914年），随父亲迁居北京，长居于此。
民国五年（1916年），由其父张镇芳做主，娶安徽亳州女子李月娥为妻。同年入袁世凯混成模范团骑兵科学习。
民国七年（1918年），毕业于袁世凯混成模范团骑兵科，并由此进入军界，历任安武军全军营务处提调、陕西督军公署参议。后曾在曹锟、吴佩孚、张作霖部任提调参议等职（皆名誉职）。
民国十六年（1927年）起投身金融界。历任盐业银行总管理处稽核，南京盐业银行经理、常务董事，秦陇实业银行经理等职。
民国十九年（1930年），张伯驹与李石曾、齐如山、梅兰芳、余叔岩、冯耿光等组织了“国剧学会”。
民国二十六年三月十四日（1937年），张伯驹40岁生日，为了赈灾所演的一出《失空斩》，群星闪耀，盛况空前。抗日战争爆发后，一度去西安，后致力于写诗填词。
民国三十年（1941年），被非法绑架近八个月。是年秋，携全家入秦途中，将国宝《平复帖》缝入衣被。
抗战胜利后，曾任国民党第11战区司令长官部参议、河北省政府顾问、华北文法学院国文系教授，故宫博物院专门委员，北平美术分会理事长等职。
民国三十六年（1947年）6月在北平参加中国民主同盟，任民盟北平临时委员会委员，参加北大学生会助学运动、反迫害、反饥饿运动、抗议枪杀东北学生等爱国民主运动。
北平解放后，曾任燕京大学国文系中国艺术史名誉导师、北京中国书法研究社副社长、北京京剧基本艺术研究社副主任理事、北京棋艺研究社理事兼总干事、北京中国画研究会理事、北京古琴研究会理事、文化部文物局文物鉴定委员会委员、公私合营银行联合会董事、第1届北京市政协委员、中国民主同盟总部财务委员会委员、文教委员会委员、联络委员会委员。
1949年以后，盐业银行公私合营，张伯驹以董事身份参与财产评估后，以个人无股票不能再任董事为由，退出了公私合营银行。
1952年，经郑振铎推荐任文化部顾问。
1956年，张伯驹将其收藏的部分文物捐给了国家，包括西晋陆机《平复帖》卷、隋展子虔《游春图》、杜牧《赠张好好诗》卷、宋范仲淹《道服赞》卷、蔡襄自书诗册、黄庭坚《诸上座帖》、元赵孟頫《千字文》等；同年，加入中国国民党革命委员会。
1958年，划为右派分子。
1961年，在陈毅的干预下张伯驹夫妇来到长春，在吉林省博物馆工作。
1962年，任吉林省博物馆副研究员、副馆长，主要负责文物的鉴定工作。
十年浩劫开始，张伯驹被批斗、抄家、隔离审查。1969年，以“敌我矛盾，按人民内部矛盾处理”为由一是令其退职；二是送往舒兰农村插队落户。舒兰地区因张伯驹夫妇年老而拒不接收。张伯驹、潘素回到北京，因无工作、无户口以出卖家产度日。
1972年，周恩来得悉后，指示聘任张伯驹为中央文史研究馆馆员。
1978年，中共吉林省委宣传部批准了吉林省文物局上报的关于对张伯驹的复查结论，当众予以平反，恢复名誉。
1981年1月，张伯驹、潘素夫妇画展在北京北海公园举办。
1980年，张伯驹右派问题得到平反。晚年还担任过北京中山书画社社长、北京中国画研究会名誉会长、中国书法家协会名誉理事、京华艺术学会名誉会长、北京戏曲研究所研究员、北京昆曲研习社顾问、民盟中央文教委员等职。
1982年2月25日，张伯驹最后合影。
1982年正月，参加宴会归来的张伯驹突患感冒，被送进北大医院，2月26日去世，享年84岁。
1982年3月26日，举行了张伯驹追悼大会，叶剑英、邓颖超、王震、谷牧等党和国家领导人送了花圈，赵朴初、夏衍、胡愈之、牛满江、刘海粟等二百多人送了挽联，五百多人参加了追悼会。
主要著作有《丛碧词》《春游词》《秦游词》《雾中词》《无名词》《续断词》和《氍毹纪梦诗》、《氍毹纪梦诗注》《洪宪纪事诗注》及《乱弹音韵辑要》《丛碧书画录》《素月楼联语》《京剧音韵》等。
新中国成立前，张伯驹与张葱玉、邓以蛰、张大千、徐悲鸿、沈尹默、吴湖帆、启功等诸先生一起被聘为故宫博物院专门委员，工作任务为“书画审定”，为故宫博物院收购清宫流散书画出谋划策，做了大量工作。当溥仪盗运出宫的书画在市场上陆续出现时，张伯驹即谏言故宫博物院，尽早开展征集工作：“一、所有《赏溥杰单》内者，不论真赝，统由故宫博物院价购收回；二、选精品。经过审查价购收回。”经其考订，1198件中除赝迹及不甚重要者外，有价值之品约有四五百件，按当时价格无需大笔经费便可大部收回。
1946年底，北京古玩商马霁川从东北带回20余件文物推荐给故宫博物院。张伯驹不仅给出了具体的审定意见，而且将他所了解的信息，及时反馈给故宫博物院。 1947年4月19日，张伯驹又作为专门委员，与徐悲鸿、邓以蛰、启功等人出席了故宫博物院在绛雪轩举行的第六届理事会在平理事第四次谈话会，讨论书画收购事宜。
张伯驹颇为重视文物精品，曾向马衡院长建言，“余主张宁收一件精品，不收若干普通之品”。所以，当发现精品文物在市场上出现时，他多会优先推荐故宫博物院收购，如范仲淹《道服赞》由北京古玩商靳伯声从东北购得，他居中协调，商定以黄金110两卖给故宫博物院；又如，当得知马霁川有展子虔《游春图》时，他建议故宫博物院将此卷买下，在故宫博物院无力收购以上两件文物的情况下，为防止文物流落海外，张伯驹不惜鬻物举债将它们买下，一件《游春图》使他从豪门巨富变为债台高筑，不得不变卖在弓弦胡同的一处宅院和潘素的金银首饰。
新中国成立后，张伯驹继续关注故宫博物院事业的发展，而一生所藏文物精华，也大多归于故宫博物院收藏，兑现了其“予所收蓄不必终予身为予有，但使永存吾土，世传有绪”的初衷。故宫博物院共计收藏有张伯驹《丛碧书画录》著录的古代书画22件，几乎件件堪称中国艺术史上的璀璨明珠。如晋·陆机《平复帖》是传世文物中最早的一件名人手迹；隋·展子虔《游春图》为传世最早的一幅独立山水画。其余如唐·杜牧《张好好诗》、唐·李白《上阳台帖》、宋·黄庭坚《诸上座帖》、宋·赵佶《雪江归棹图》等，都是中国艺术史上的重要文物。这其中，晋·陆机《平复帖》、唐·杜牧《张好好诗》、宋·范仲淹《道服赞》、宋·黄庭坚《诸上座帖》等8件古代法书精品是1956年由张伯驹、潘素夫妇捐赠国家的，国家文物局后调拨故宫博物院；隋·展子虔《游春图》、宋·赵佶《雪江归棹图》、明·唐寅《王蜀宫妓图》等是张伯驹让与国家，国家文物局收购后陆续调拨故宫博物院的；唐·李白《上阳台帖》则系张伯驹赠与毛泽东主席，1958年中央人民政府主席办公室将其调拨故宫博物院。另外，故宫博物院还于1959年购买了张伯驹曾收藏的宋·赵孟坚《行书自书诗》。需要特别强调的是，隋·展子虔《游春图》、唐·杜牧《张好好诗》、宋·范仲淹《道服赞》等都是故宫博物院当时有意收购，但因各种原因而未能入藏的。它们最终能由故宫博物院收藏，为中华民族所共享，张伯驹居功至伟。
1956年7月，时任文化部部长沈雁冰（茅盾）亲笔为捐献8件国宝的张伯驹颁发了一个褒奖令。
调任吉林省博物馆第一副馆长后，当时吉林省的文化底子相对薄弱，省博物馆的藏品根本无法与国内重点单位相比。于是，张伯驹再次慷慨解囊，无偿地捐献了几十件自己的珍贵收藏，包括元代仇远的《自书诗》卷、颜辉的《煮茶图》卷、宋代赵伯啸的《白云仙乔图》卷、元代赵子昂的《篆书千字文》卷、明代薛素素《墨兰图》轴、唐人写经《大般若波罗密多经》、明代董其昌的字对、唐人楷书册等等。时任吉林省委宣传部长的宋振庭对省博物馆的藏画中尚无宋人真迹感到甚是遗憾。张伯驹得知后，又捐献了宋代杨婕妤的《百花图》。
张伯驹从小就接受中国传统文化的熏陶，他博览群书。扎实的文学功底，造就了他多才多艺的文化底蕴。由于他天资超逸，便利用一切闲暇时间，写下了大量格律相谐、化典圆熟的古体诗词和音韵、戏曲论著，其诗词、对联、分钟等均达到很高的水平。
为继承和发展中国古典艺术，建国初期，张伯驹创办北京古琴研究会、京剧基本艺术研究社、中国书法研究社、诗词研究社，直至临终前，还对中国韵文学会筹备事宜念念不忘。
另外，张伯驹对中国书法艺术的研究，造诣颇深，著有《中国书法》一书；他本人亦擅长书法，其书法源学王羲之《十七帖》，融真、草、隶、篆、于一炉，晚年形成自己独特的风格，用笔飘逸，如春蚕吐丝，被人称为“鸟羽体”。张伯驹这类书体类似鸟虫篆，颇似蚯蚓，然其却中锋用笔，骨力内含。张伯驹的绘画也是自成一格，其《楚泽流芳》、《红梅》及《兰石》等，皆为张伯驹的书画艺术代表性作品。画家刘海粟先生曾这样评价张伯驹的这类书法：“运笔如春蚕吐丝，笔笔中锋，夺人视线，温婉持重，飘逸酣畅，兼而有之，无浮躁藻饰之气。目前书坛无人继之。”学者刘叶秋则说张伯驹的书法：“书兼行草，圆劲挺秀，卓然大家风范，与画可称双璧，殊足珍贵。”
作为京剧票友，张伯驹有三大得意事。一是与余叔岩合作，编写了《近代剧韵》，总结京剧发展实践，系统介绍了京剧十三韵。二是为推动京剧艺术发展，张伯驹约同梅兰芳、余叔岩等人，于1931年创立了“北平国剧协会”。三是1937年，他组织一大帮名角，举办了轰动全国的河南旱灾筹款义演。张伯驹饰孔明、余叔岩饰王平、杨小楼饰马谡、王凤卿饰赵云、程继仙饰马岱、陈香雪饰司马懿、钱宝森饰张郃、慈瑞泉、王福山饰二老军带报子。演出后不久，日本全面侵华。这次义演，被称为“艺坛最后一次绝唱”。
周汝昌：我所平生见到的，文化高人很多，这样人也少少的。
史树青：我们近代没出过这样高的人，有学问的人，有涵养的人。
启功：前无古人,后无来者。天下民间收藏第一人。”
刘海粟：“他是当代文化高原上的一座峻峰。从他那广袤的心胸涌出四条河流，那便是书画鉴藏、诗词、戏曲和书法。四种姊妹艺术互相沟通，又各具性格，堪称京华老名士，艺苑真学人。”
章伯钧：“不论中国文学如何发展，都不会再有张伯驹！”
周汝昌：“阅读张伯驹，我深深觉得，他为人超拔是因为时间坐标系特异，一般人时间坐标系三年五年，顶多十年八年，而张伯驹的坐标系大约有千年，所以他能坐观云起，笑看落花，视勋名如糟粕、看势力如尘埃。”
千家驹：“我参加八宝山追悼会不知道多少次了。很多人悼辞上无一例外地写着‘永垂不朽’。依我看，并非都能永垂不朽，真正不朽者，张伯驹是一个。”经济学家。
宋振庭：“爱国家、爱民族，费尽心血一生为文化，不惜身家性命；重道义、重友谊，冰雪肝胆赉志念一统，豪气万古凌霄”。
王世襄：实在使人难以想象，曾用现大洋4万块购买《平复贴》、黄金170两易得《游春图》，并于1955年将8件国之重宝捐赠给国家的张伯驹、夫人竟一贫到如此地步。他十分赞赏黄永玉为张伯驹下的论断——“富不骄，贫能安，临危不惧，见辱不惊……真大忍人也！”
