衡山县图书馆座落于风景秀美、人杰地灵的紫巾峰脚下，其文化历史更是厚重，开元年间，县城内就建起了学宫、文庙、书院,藏书更是丰富，古衡山素有“图书府、翰墨林”之美称，故衡山被誉为“文明奥区”。
衡山县图书馆的前身，叫通俗图书馆，创建于1911年，馆址设在南岳，随后于1930年按湖南省教育厅通令改为“民众图书馆”，其馆舍于1938年被日本侵略者飞机炸毁。1946年，图书馆扩建，并改名为“中正图书馆”，1948年，新馆建成对外开放，当时藏书达80万册，后改名为古典书库。1950年，80%的藏书迁往湖南省图书馆，其后，随着衡山县行政区划的变更，衡东、南岳相继划出，图书馆资源受到分割。“文化大革命”期间，被停办关闭，图书馆事业一度进入低谷。1979年，经湖南省文化厅批准，以原南岳图书室改名为衡山县文化馆图书室为基础，成立衡山县图书馆。
2005年，衡山县图书馆在县委和政府的高度重视下，选址县城先农小区建成新馆，新图书馆共四层，总面积为3211㎡，总造价达178万元。现有藏书10万余册，所有上架图书均按《中图法》类分、排列图书，图书编目依据《普通图书著录规则》著录，设置分类、书名目录二套，配有电子版图书目录供读者查询，书名目录按书名字顺笔划排列。
特藏古籍线装书3000余册，跨五个朝代藏书（唐、宋、元、清、民国）。如《衡山县志》《十三经》《论语》《五代史》《新旧五代史》等。现有工作人员19人，定编9人，其中；中级职称2人、政工师2人、初级职称2人。对外服务窗口有采编室、外借室、阅览室、少儿室、地方文献征集、电子阅览室、职工图书室、多功能知识讲座厅。现有持证读者3690余人。2007年衡山图书馆成为全国文化信息资源共享试点单位，文化信息共享资源工作以图书馆分支中心形成网点，业务网点覆盖全县17个乡镇基层分支中心，并保证技术支持，所有设备运行良好。2013年在全馆干部职工的共同努力下，成功申报国家二级图书馆，于本年10月正式授牌。2014年上半年，新翻修了地方文献征集室，设有党的群众路线、湖湘文化、地方史志、衡山年鉴、族谱等专柜，所有资料供读者免费查阅。在主管部门和全馆干部职工的共同努力下、各界同仁的关心支持下，图书馆现已建成全自动化网络检索系统，结束了几十年手工检索，服务窗口双休日正常开放，全体馆员热情接待前来图书馆学习的每一位读者，本着“以人为本、坚持公益、服务社会、服务读者”的根本宗旨，我们会一如既往的做好图书馆读者服务工作，巩固现有成果，努力开创图书馆事业，为衡山的经济发展、社会和谐做出我们应有的贡献，同时也欢迎上级领导、各界朋友光临图书馆指导工作。
