位于赤松子坛帝，有巨石数几十方，耸立于山顶，传为飞来之石。传说雨母山与南岳山是姊妹山，南岳山是姐姐，雨母山是妹妹，姐妹俩经常比试法力，姐姐祭起一个乌龟精，每夜把头向天伸一次，头伸多高，山峰就长多高。妹妹祭起雨母山的蛤蟆精，每夜向上跳一次，跳多高，山峰就长多高。姐姐法力比不过妹妹，恐雨母山高过南岳，便心使一计，祭起一块大赤石压住了蛤蟆精，使其从此无法跳跃了，大肚顶再无法增高了，但山的大肚却迅速膨胀，姐姐又从南岳飞来三首箍把大肚岭箍得紧紧的。妹妹见此情景，忙祭起填寺中铁钟压向南岳的乌龟精，铁钟飞经衡阳，遇到一群鸿雁，鸿雁感到蹊跷，就把铁钟团团围住，并迫降于衡州南头一座小山上，此山就是现在回雁峰。由于姐姐法术失败，南岳山因而夜夜增高，现在比雨母山高多了，南岳姐姐不忘雁峰鸿雁，把雁峰排为南岳72峰之首，支南岳敬香的香客均先在衡阳雁峰烽第一柱香。民间半此传说编为10句顺口溜：

南岳雨母两山亲，姐妹赛法争山峰。

雨母夜长山一丈，南岳夜长山一尺。

南岳姐姐起恶意，飞石压公蛤蟆精。

雨母飞钟被雁峰，乌龟夜夜向上升。

南岳不忘鸿雁恩，故排雁峰第一峰。

飞来石被当地人们神化，并疑为天外飞来之石，故有“飞来石”一说。其实，是因雨水淋蚀、岩石风化慢，岩层裸露峰顶之故。

在飞来石的下面有一个小洞，传为仙人洞，只留有洞口，洞口永远无法打开，因为洞内藏有光芒四射的珍宝。多少年来，周围一些为穷苦折磨的老人受气后，总要到此洞口静坐三天后，回家就安然无恙了。

在飞来石南侧石壁上，有清朝时清泉令江洵所刻“赤松子坛”四个篆体字。唐代有诗人游雨母山时题五言律一首：“鹤舞千年树，虹飞百尺桥。赤松石不动，浮云易飘摇。”据《神仙传》、《路史》、《辞海》记载，赤松子坛是古代传说中的得道仙人，为神农氏雨师。当地人们传说赤松子为帝喾师，能呼风唤雨，因而把帝喾和赤松子祭祀。相传，雨母山原名云雾山。清雍正年间，衡州朱道台因久旱不雨，百姓遭灾，便慕名来雨母山赤松子坛祈雨。“虔诚礼拜，雨泽立降，”因说“今云雾山无云无雾，是雨母赐雨，”则改云雾山名为雨母山，并赐送“雨母山”三字金匾。后来的衡洲知府江恂祭雨赤松子坛，在石上刻有“赤松子坛”，并落款“江洵”。雨母山地区在历史上曾长期是旱灾死角，人们对自然的无奈，而产生对神的依赖和信奉，便演绎成了这种祭祀文化景观。