潜园位于湖州建设路，与莲花庄同园而筑。

潜园大门东侧青瓦粉墙上有同济大学教授陈从周书写的“潜园”两个大字。进入大门，是由一个一千多年吨太湖石垒成的假山，山南侧有一水柱棕瓦的小亭，亭中有湖籍著名书法家谭建丞书写的“小蓬莱”三个字。假山东侧为陆氏捐书碑，以纪念陆心源捐书之绩。园区内还有抱轩长廊，有石笋、花卉、芭蕉树、香樟等植物，另有一水池，池边上立有五块太湖石，其中一块为“莲花峰”，现已被列为市文保。总观全园，雅致之极，精品迭出，乃观赏、休息之场所。

潜园，始建于清光绪初年，为藏书家陆心源所建之私家花园，故名“陆家花园”，后因陆心源自称“潜园老人”，故又改名曰“潜园”。二月革命之后，国民党理论家戴季陶曾居住于此，过了一段世外桃源的隐居生活。

潜园初建时，有“守先阁”、“四海精舍”、“五石草堂”等16景。抗日战争时，大部分建筑被毁。