郑州图书馆成立于1953年，经过六十余年的建设发展，已跻身国内公共图书馆建设发展前列。
郑州图书馆现有大石桥老馆和郑东新区新馆两座馆舍。大石桥老馆位于郑州市金水区南阳路6号，1990年12月兴建，1994年9月正式投入使用，占地面积11240平方米，馆舍面积9699平方米。
郑州图书馆新馆（市民文化中心）位于郑州市郑东新区客文一街10号，是一所集文献典藏、信息交流、学术研究、文化创意、教育培训、文化休闲等功能为一体的综合性现代化大型文化场馆。新馆占地76.383亩，总建筑面积72450平方米，为地下一层，地上五层，规划总藏书量240万册（件），设计阅览坐席3000个，设计日均接待读者量6000人次。新馆于2009年6月动工兴建，2012年6月主体竣工，2013年8月面向社会公众开放。新馆建设始终坚持“人性化服务、市民参与互动”的理念，在建筑规模、节能减排、智能化新技术应用等方面取得了进一步的突破和创新。
新馆设置有综合图书借阅区、报刊阅览区、多语言阅览室、无障碍阅览室、少儿阅览室、多媒体阅览区、古籍及地方文献阅览区、学术会议区、教育培训区、文化产业休闲区等多个功能区，借阅区实现无线网络覆盖，可满足读者多种阅读需求。
新馆引入智能化数字图书馆建设理念，利用现代化的信息技术，把图书馆数字资源、多媒体展示及信息交互、图书业务管理系统、读者自助服务等多种技术和设备科学合理的融合在一起，实现了图书馆的智能化管理和服务。由多个智能服务终端系统等集合而成的智能化信息服务平台，增加了图书馆与读者的互动，改变了传统图书馆的服务模式，使读者对现代化图书馆发展趋势有了认识。
新馆采用Syphony图书馆集群业务管理系统，并以此为平台，构建了涵盖郑州地区各县（市）、区图书馆在内的“郑州地区公共图书馆服务联盟”，实现地区内公共图书馆图书的通借通还、馆藏文献信息资源共建共享等。
郑州图书馆现有各类文献馆藏总量达110万多册（件），其中3000余种古籍善本和10万余份（件）“文革”资料为特色馆藏。所收藏的元刻本《韵府群玉》、清抄本《三国志玉玺传》等，都是罕见的珍本或孤本。2010年5月，被国务院确定为“全国古籍保护单位”。 拥有CNKI中国知网数据库、超星电子图书、新东方多媒体学习库等多种类型的数据库资源，向读者免费开放。
郑州图书馆自1999年以来，连续四次被文化部评定为“国家一级图书馆”，已成为郑州市重要的文献信息中心、社会教育中心、文化休闲中心和学术研究中心之一。郑州图书馆新馆作为郑州城市新的文化，必将在完善城市公共文化服务设施，满足和丰富公众公共文化需求中发挥出积极的作用。
