帝喾祠位于雨母山飞来石峰之下，石狮垅土皂坳正上方。据《生书纪年》载：“古有术器作乱，辛侯（帝喾）遂之于衡来雨母山，斩其首。”后舜帝南巡，于此地建祠祀之。公元1993年秋，当地人民集资复葺帝喾祠时，清基挖土掘出古铜币4000余枚，均为唐宋时期的钱币，由此推断，帝喾祠当建于唐宋或唐宋之前。

帝喾祠为国内唯一的一处祭祀帝喾之处，（据传：帝喾为三皇五帝之一，三皇一帝炎黄帝、颛项、帝喾、唐尧、虞帝）帝喾祠始建于大舜之时，历经兴衰，有史记载的比较大的重新修葺的活动有两次，一是明工部侍郎王诏的祈祠修葺，二是1993年当地群众集资重建毁于1944年抗日战争的帝喾祠。

2001年，衡阳市佛楞于帝喾祠下面庵祠土皂投资兴建完整的佛教丛林，现已全面竣工。帝喾祠与雁雨寺连成一体，气势磅礴、雄伟壮观，是全市一处重要的宗教文化圣地。