归潜堂在浑源县西南四十五里玉泉山东，元代刘祁隐居于此。刘祁，浑源人，字景叔，刘从益之子，金时为太学生，八元复试为进士。所著《归潜志》即写于此，是书多为修篡《金史》采用。