从光明顶往西或由排云亭南行，就能见到“飞来石”。这是一块高12米、重600吨的巨石，底部和山峰豁然分开，似天外飞来，故名。《红楼梦》中拍摄的的顽石就是飞来石。

相传，宋代有个叫单福的石匠，一生给人家造成了不少桥，心想也在自己家乡门口的江山建造一座，但叹息没有帮手。他膝下只有一女叫小姣，长得聪明美丽。小娇知道父亲的心思，便要求参加帮助干。但那深山采石，百里运石的苦和累，小女子怎么受得了，所以善福就是不答应。小姣跪在地上苦苦哀求，善福没奈何，才含泪点头。他还把三个徒弟找来帮忙，不久就干起来了。由于开山运石的苦和累实在难受，大徒弟和二徒弟先后悄悄地溜了 . 善福和女儿，三徒弟为修桥铁了心，继续风里雨里苦干着。但好几年过去了，运到江边的石头只有一小堆，这样累死苦死，桥也建不起来。小姣一咬牙，请人写了“捐身修桥”四个大字，插了个草标，坐到江边石堆旁。

一连三天，来看的人无数，但望望滔滔的江水，就都走了. 这天，忽然来了个瘸子，身背一把扇子，摘了草标，问小姣愿不愿意跟他走，小姣回答说：“什么时候把大山里开采的石头全运到江边，就什么时候跟你走。”这瘸子原来是八仙中的铁拐李。他挤出人群，腾云驾雾，很快来到百里外的大山，从背上拿下扇子，对着善福和三徒弟开出的石头就扇。石头竟都飞了起来，又纷纷都落在江边。单福和三徒弟也被 从山上扇到造桥工地。铁拐李还怕不够，又对身下立着的一块巨石扇了三扇子，他就站在那巨石上飞到江边。但见下面全是人，未敢让巨石落下。又听善福大声说：“石头够了”。他便驾起云头，飘游起来，游到黄山，见黄山风景秀丽，便将石头落下。

从此，这飞来石就给黄山增添了绝妙的一景。另外还有两处飞来石，一块在翠微峰侧，一块在古颖林庵前小峰上。