石鼓书院位于衡阳市北门外石鼓山。山似半岛耸立于蒸水与湘水汇合处，海拔69米，面积4000平方米。

石鼓得名，远不可稽，说法不一。一说石鼓四面凭虚，其形如鼓，因而得名，如《水经注》所载：“山势青圆，正类其鼓，山体纯石无土，故以状得名。”另一说是因它三面环水，水浪击石，其声如鼓。由此可见，石鼓之名，皆因其自然形貌以其形，以其声而得之，而从年代看，据《水经注》记载，秦代以前石鼓之名就载之于史乘了。

相传汉代，诸葛亮就以军师身份来到衡阳督办三郡的军赋，并住在石鼓山上，衡阳人民为纪念诸葛先生“鞠躬尽瘁，死而后已”的精神，在石鼓山的左边建了“武侯祠”，以供祀享。如今已无迹可寻。

唐贞观时（公元627-650年）刺史齐映于山之东建“合江亭”。唐宪宗元和年间（公元806-820年）衡阳隐士李宽在山上筑庐名“寻真观”，悉心读书，即为石鼓书院的雏形。宋至道三年（997年）衡阳郡人士李士真创建书院，景佑二年（1035年），钦赐“石鼓书院”敕额，与当时的睢阳书院、白鹿洞书院、岳麓书院齐名，并称全国四大书院。

2004年，衡阳市果断拆除书院前破旧民房3万多平方米，修建了竹木滴翠、花草如茵、占地3.18公顷的石鼓文化休闲广场，使书院重新“显山露水”，并将朱熹作的《石鼓书院题记》镌刻在花岗岩质巨型石书上，而用秦砖汉瓦修复的将军楼和行人道古朴典雅，用青铜塑成的韩愈、朱熹、周敦颐等七贤群像形态逼真，栩栩如生，用造型语言诠释了石鼓书院的文化底蕴。