据《地方志》记载，柴园在醋库巷44号，原宅园面积5．85亩，其中花园2．63亩。现存住宅0．58亩，花园2．16亩。

清同治中叶，浙江上虞柴安圃先至吴江同里主管江震盐公堂，后定居苏州，光绪年间购得该宅。宅西南辟园，后裔称落成于光绪九年，人呼柴园。安圃卒，子莲青改称絸(即茧)园。自号絸园主人。但柴园之名已久在民间。前部有鸳鸯厅，宏敞豪华；后有楠木厅，淳朴稚洁。其间布置庭园4区，以中园最佳，水池假山，小巧幽雅，假山口有“缭而曲”三字，盘旋迂回，丘壑自具。旱舫水榭，装折精雅，又有曲廊延绵贯连。东北为书楼，西北建堂屋为栖息地。抗日战争起，园渐散为民居(以上多据姚世英《重修柴园记》)。原宅大部分已毁。解放后，南区政府曾在此办公。

1957年至今，为市聋哑学校使用。1974年学校翻建平房作校办工厂，1978年又拆除池北住宅曲楼，新建三层教学楼。现住宅仅存门厅、北部楼屋及光绪九年顾文彬题“嘉门善祥”额砖雕门楼一座。花园部分尚存鸳鸯厅、画舫、水轩、曲廊、纱帽亭和假山、池塘、花木。1980年规划为修复项目。1982年被列为苏州市文物保护单位。1985年重点整修保护鸳鸯厅等。