潜山市图书馆位于潜山市文化公园内，与潜山市档案馆、文化馆相邻。图书馆建筑面积约5400平方米，一共三层。全馆可容纳藏书30万册，目前藏书量达18万册，电子书籍100万册。潜山市图书馆被国家文化部评定为 “国家二级图书馆”。

2020年6月第15个文化与自然遗产日，天柱山管委会向潜山市图书馆和全市16个文化站捐赠了《天柱山世界地质公园导游指南》《天柱山蝴蝶》等80本图书，丰富了图书馆和文化站的图书收藏。2021年3月，潜山市图书馆联合天柱山世界地质公园举办了《天柱山常见野生脊椎动物》科普讲座。2022年6月，由天柱山地质公园管理中心、潜山市科协、天柱山地质公园博物馆、潜山市图书馆联合组建科普志愿服务队，开展“我们的节日，端午节暨‘皖水潜山粽是情’”科普志愿服务活动。