南湖湖心岛是明·嘉靖二十七年(1548)嘉兴知府赵瀛主持疏浚城河时在湖中堆土而成。烟雨楼初建于五代，原在湖滨。烟雨楼的名称，最早见于南宋诗人吴潜所作《水调歌头·题烟雨楼》词。明·嘉靖嘉兴知府赵瀛在南湖填土成岛后，第一次在岛上建烟雨楼，从此楼在湖中。后几经毁废重建，现今之烟雨楼于一九一八年由嘉兴县知事张昌庆重建，继任汪莹完工。烟雨楼后之假山全为太湖石叠成，传为明代造园家张南垣所作。至道光年间已倾圮零乱，一九一八年重建烟雨楼时，由沈石荪整理堆垒成虎豹狮象形状，形象逼真，威武可爱。楼前有一荷池，形如南湖特产无角菱。