据《地方志》记载，残粒园在装驾桥巷34号。宅园面积5.02亩，其中花园仅占0.21亩。园始建于清代，光绪年间为扬州盐商姚姓所有。民国16年后，归画家吴待秋（别号栝苍亭长），现为其子、吴门画派研究会会长吴 木宅园。住宅分三路，门厅、轿厅、大厅、后楼及花厅都较完整，宅北部一花园早废。

残粒园在东路花厅东侧，全园面积140平方米，但能利用空间将半厅、假山、水池、花木组成曲折高下有层次的景面。原称东园，后吴待秋取唐杜甫句“香稻啄残鹦鹉粒”意，命名“残粒园”。由“锦窠”砖额洞门入园，过湖石峰屏障，见水池居园中央，池岸北靠墙角掇湖石假山，进山洞循石级盘旋而上，有半亭一角飞翘，端跨山巅，取浙江栝苍山名，称为栝苍亭，可俯观全园景色。

亭内有壁龛书橱，侧门西通花厅，从内宅楼层可通花园，在苏州园林中为仅见。园中小径环池，蜿蜒起伏。榆树、桂花、腊梅、薜荔等花木藤萝绿被全园。园前有合抱广玉兰。花厅庭院有湖石叠成小天池泉眼，高出地面0.6米而终年不涸。壁间嵌有书条石5方。1980年被列为修复项目和保护对象。