飞山庙又名威远候庙，为供奉少数民族首领杨再思的寺庙。庙址原在飞山绝顶，宋淳熙甲辰年（1185）靖州知州孙显祖移至州城西门外一里多的原作兴书院左侧，明正统十年（1445）知州苏文重修。

重修后的飞山庙东西长72.5米，南北宽24.5米，占地面积1775.25平方米。庙分三进：第一进是戏楼、天井。戏楼雕梁画栋（已毁），天井中央植柏树两株。第二进为过厅、正殿。过厅由19根木柱支撑屋顶，两边供有魏了翁（宋工部侍郎）及党哲（明靖州知州）塑像。正殿占地面积218.5平方米，由10根金色柱子支撑中心屋顶，四周排列18根檐柱，柱枋之间偶合紧密。过厅、正殿均为传统单层单檐木结构建筑，硬山式屋顶。第三进为娘娘殿，相传是供奉杨再思父母的神殿。现已改建成学校教室。明正德三年（1508）参将黄焘在飞山庙前约百米处建石坊一座，上嵌"惠此南国"及"威镇渠阳"的石刻巨匾，现已毁。