截止2006年底，有馆藏图书8万余册，其中有1997年市政府拨专款6.8万元购置的《传世藏书》一套；香港石景宜先生捐赠的图书等，图书种类齐全，收有丰富的地方文献资料；开通电子监测仪，图书开架率达85%以上，读者可以直接到书库查找图书，十分方便；2002年初，在各级领导的支持下，建立了电子阅览室，进一步方便了广大市民的业余文化生活。
武夷山市图书馆最早可追溯到1937年7月成立的崇安县民众书报所。1938年1月改为崇安图书馆，全月开放。1939年2月撤销图书馆机构，业务移交第一区中心民众学校校长接管。开始仅设阅报栏三处，后得到各界人士捐款并赠图书一部分，另补充添实了一部分图书和杂志，恢复民众书报所，向群众提供阅读和出借图书服务。1940年11月，恢复图书馆机构，由教育科长兼馆长。1942年7月城区遭受日军飞机空袭，图书馆附近中弹受震。图书馆宣告停业，图书及其它财产移交教育科保管。1943年9月设民众教育馆，主要开展书报、体育、音乐、戏剧、大众茶园、俱乐部、民众咨询及代笔处等业务。据档案记载：该馆除办图书馆业务一项外，其它项目限于条件难以开展，因而仅保留民教馆名义，负责书报工作。1946年2月，正式撤销民教馆名义，恢复民众书报所，直到1950年崇安县文化馆成立，图书工作由文化馆承担。文革期间，文化馆受冲击，所藏图书所剩无几。“文革”结束后，恢复文化馆图书室，重新购置图书。1982年由福建省文化厅批准，崇安县图书馆成立，接管原文化馆图书室所有图书及其它相关财产，由文化馆兼管，在文化馆大楼二楼办公。1988年4月起正式独立核算，并下设办公室、采编组、外借流通组、阅览厅。1990年1经国务院批准，撤销崇安县，成立武夷山市。崇安县图书馆改称武夷山市图书馆。1996年6月搬迁新馆，结束了有馆无舍的历史。
由于96年6月搬迁新馆舍后，工作条件得以改善，对内设机构作适当调整，下设办公室、外借部、采编部、阅报室、少儿图书室、杂志阅览室、参考咨询部、辅导部等。
1998年设立石景宜先生捐书专室。
2000年设立地方文献资料室。
2002年2月成立电子阅览室。
2003年重新对内设机构进行调整,将地方文献资料室、石景宜先生捐书专室合并成立特藏部，合并阅报室、杂志阅览室成立报刊部，将少儿图书室并入外借部。
2008年新设立办证处、文化信息资源共享中心、孙克骥将军赠书展览室。
1999年10月被国家文化部评为二级公共图书馆，2005年6月再次被国家文化部评为二级公共图书馆；2003年底被市委、市政府评为2002-2003年度文明单位。
