湘山古塔始建于宋代，初名“永怀塔”。古塔系楼阁式空心砖体，六角，七级，铁葫芦顶，连基座到塔顶，共九层，高约13米，入口门楣上镌刻“湘山宝塔”四字，左右两侧镶嵌对联：“月携塔影天河去，我载琴声鹿原来”。塔身中空，登上塔顶可俯瞰炎陵山城全貌。塔外部逐级镶有“八仙过海”等浮雕，清代工部主事尹荣福到此游览，留下了“残霞飞殿角，落日挂林端。塔影连天碧，山光入水寒”的诗句。

1984年10月，湘山古塔被株洲市人民政府列为市级文物保护单位。