衡山置县于三国吴会稽王太平二年(257)，现在的县名始于西晋惠帝永熙元年(290)。隋初衡山县行政区域扩大，湘乡、湘西两县并入，属长沙郡。唐武德四年(621)，析出湘乡县，仍属长沙郡。唐天宝八年(749)，湘潭县部分地区划入，衡山县辖今衡山、衡东、南岳及安仁县部分山区。宋乾德三年(965)属潭州，淳化三年(992)属衡州。元属潭州路，明、清属衡州府，民国废府存县，直隶湖南省。

　　1949年，中华人民共和国成立时，衡山县域范围包括今衡山县、衡东县、南岳区，属衡阳专区管辖。1951年12月，划出南岳及其附近山区，建南岳特别区。1952年7月，南岳特别区撤销，归入衡山县建制。同年11月13日，衡山县改属湘南行政区。1954年，重属衡阳专区。1960年4月，南岳管理局升格为县级行政单位，原南岳公社划分为南岳公社和南岳镇，归属南岳管理局。1961年3月，南岳管理局将南岳公社组建为南岳、店门、祝融、师古4个人民公社，南岳镇不变。同年11月，新桥、马迹、东湖、江东、贯塘、白果、松柏、望峰、贯底、棠兴10个公社划入南岳管理局。1963年6月，南岳管理局更名为南岳县，辖原南岳管理局15个社(镇)。1966年2月，撤销南岳县，将其行政区域划归衡山县，同时析出湘江以东地区建衡东县。1983年，地市合并，衡山县属衡阳市管辖。1984年5月，析县境中部南岳镇、南岳乡及后山的东湖、马迹、望峰3个乡中的10个村建县级南岳区，直属衡阳市管辖。至2005年，衡山县辖区和隶属关系未变。