塔下寺旧称回龙山寺，又名净住寺，因誉为“峭塔凌霄”的传芳塔建在寺中，寺处塔下，故习称为塔下寺。位于蓝山县城东，寺区辖地二十余亩。寺宇依山傍水而建，四周香樟古槐，苍松翠柏环绕，清清舜水绕寺而过，环境清幽有如仙境。是湘南地区环境和风景保存较好的一处游览胜地。

据民国《蓝山县图志》载：塔下寺传为唐代古刹。明万历以前称净住寺，寺宇座北朝南，中轴线上依次为山门、大雄宝殿、传芳塔、东侧有观音阁、观浪亭、厢房、西侧有小山门、戒堂等、除西北角新建的解放军烈士纪念亭外，形成为塔寺并重，浑然一体的古建筑群。现存传芳塔为明嘉靖四十二年至万历八年（公元1563-1580年）重建，历时十六载竣工，塔门上书“峻塔凌霄”四字，冠名传芳塔。登塔远眺，群山重峦如黛、平畴铺殿如画，城郭村庄尽收眼底，与距约四公里的童峰塔相映成趣，别具秀丽风光。塔以天然岩石为基，基底周长32.3米，塔高40.18米，七级八画，全部青砖砌就塔中砌有宽0.55米，高2米余的内族式阶梯186级直达塔顶,塔内各层供奉佛像和数十幅壁画,以祷以游,其乐融融。据现存碑刻和县志记载，清顺治十六年（1659年），康熙六十年（公元1721年），民国三十三年（公元1944年）对塔下寺均有修葺之举。

塔下寺现有的传芳塔，为明代重建，七级八角，高插云霄；塔左有戒堂，为封山式阁楼建筑；塔前是大雄殿，硬山式殿堂建筑，占地一百九十二平方米，内原供设如来佛祖，左右立十八罗汉，二十四诸天神，门首悬“大雄殿”匾额；再前是山门，为砖构牌坊式建筑，正面上书“三蓝一景”，联为“源流舜水，道衍湘山”，背面有联曰“举足登阶，便抵乘灵飞锡杖；回头是岸，未妨送客过溪桥”，横批为“境胜祗园”。山门左侧有观浪亭，四角攒尖重檐回廊式建筑，上奉奎宿，称魁星楼，底层悬“观澜亭”石刻匾额，在石门框上阳刻联曰：“层出云亭光翼轸，环吞舜水化鱼龙”，亭与山门之间有观音阁，内原供千手观音，门前联为：“度一切苦，现千手身”。该寺原有记述塔寺的碑刻数十坊，现只镶嵌在墙中的十三块幸存。登临游憩，宝塔高耸，寺庙错落，寺前钟水奔腾，寺后古木参天，遥望西南群山，一片深蓝，城郭村庄，炊烟缕缕，别具秀丽风光。

一九九○年至九五年县财政和部门投入共30万元，修复了大雄宝殿、观音阁、观浪亭。一九九六年至九八年，个体私营投入50万元，新开辟了儿童乐场、溜冰场、避暑山庄（内设蒙古包厢、卡拉OK、情侣茶座等项目），现在塔下寺景区成了全县娱乐休闲的好场所。

一九七九年，塔下寺列为县级重点文物保护单位，随后省、县拨款维修，一九八一年为利用保护古建筑，将塔下寺辟为县图书馆，一九八四年春，民政部门将安葬在塔下寺北侧的解放军烈士墓改建成烈士纪念亭（为钢筋混合土结构），千年古刹又添新景。一九九六年被湖南省人民政府公布为省级文物保护单位。