晋虞喜《志林》载：“信安(指衢县)山有石室，王质人其室，见二童子对棋，看之，局未终，视其所执伐薪柯已烂朽，遽归乡里，已非矣。”民国《衢县志》称：“《遗愁集》载，晋王质樵柴至信安。(指衢县)石室中，见二老对坐围棋，质旁立观之，乃与一物，状如枣核，合之遂不饥渴，看局未终，回视斧柯已烂，急趋归家中，已历二代，故人父老无复有存焉者。”故后人有“烂柯棋根”之说。

山上古木参天，青松翠竹，郁郁葱葱。身临其境，恍如迷人仙界，使人流连忘返。唐末五代杜光庭《洞天福地记》云；“西安县(今衢县)烂柯山，为神州七十二福地之一。”道书中称：“青霞第八洞天，又名景华洞天。”康熙《西安县志》：“石室在半山空洞弘厂，高广各二十丈许。杨子臣刻‘烂柯仙洞’，字皆长丈余。前有日迟亭，后临深谷。山腰裂一隙，才经寸长十余丈，窥见山外天日，名一线天。山顶建塔，其上登之，可望群城，名最商顶。旧称柯山四景。”再加上石梁、柯山石桥寺、仙人棋、集仙观，总称柯山八景。此外还有玉田、王贵山、牛岩、梅岩精舍、桥南书院、柯山讲舍、青霞诗文社、退思亭、文昌书院、青霞书院、徐忠烈公墓等胜景。