传说，很久以前，天上一龟王擅自下凡兴风作浪花，作恶多端，玉皇大帝一气之下将它点化，刚好落在此地，便成了今日的龟龄岛。

龟龄岛外形有点象"龟"，其"龟头"和"龟身"各具特色。"龟头"以巨石为主，怪石嶙峋，石石相连，颇有气派。中有一巨石，形似小屋，里头可容纳数人，里面清凉异常。"龟头"之下，内有一地道，深不可测，传说内有一处仙泉，退潮后将海水排干，即会冒出清澈的泉水，用这泉水调制鸦片烟，其味无穷；用它煎药，药到病除；用它洗脸，红颜常驻......因此,以前不少有钱的地主常常雇船前往取水,穷人则无法享用。这给龟龄岛平添了几分色彩。"龟身"则是另有一番风光：树木葱茏，虽不算高，但密集而有层次。处处有荫凉；花草遍地，虽不算芬芳，但清可人，赏心悦目；山路盘环，虽不算平，但少有拌脚石，路路通往开阔。正是因为它的"孤"和"荒"诱发了人们的好奇心，吸引了不少的游客前来游赏、猎奇，让人感觉到它是一种天然的美景，无粉饰的图画，无虚假的造型，是一种恬静的享受，回归自然的享受。