炎帝神农祠位于石牛峰南侧，相传炎帝南巡湖南，悉药经石牛峰至此，适逢大雨，避之岩洞，误尝断肠草而崩，葬于酃县境内(汉朝的“酃县”指今衡南县境和衡阳市东区一带)。又传此山自神农幸临，每泊灾岁，黎元祈祷，便能风调雨顺，五谷丰登，故山名曰神农山，祠曰炎帝神农祠。

炎帝神农祠始建于唐贞观十三年，乾隆、咸丰年两度修复。文革期间神农古迹被毁，于1993年重修炎帝神农祠，保持古迹原貌，增其旧制。

祠堂座东北朝西南，戏台、前殿、二殿、三殿、观音堂均筑于神农山中轴线上。两边厢房有观音殿、大王殿等，祠宇建筑雄伟，工艺精致1996年11月，炎帝神农祠被衡南县人民政府列县级文物保护单位。

同时，炎帝神农祠还建立了展览厅，展出炎帝的历史和毛泽东的革命历史，被定为衡南县爱国主义教育基地。

目前，炎帝神农祠整体开发规划正逐步完善，各项配套设施也日益完善，她将成为广大炎皇子孙朝拜先祖、旅游观光的好地方。