惠山寺始建于南北朝，前身为南朝刘宋司徒右长史湛挺的“历山草堂”。刘宋景平年，草堂改作僧舍，称“华山精舍“。梁大同三年，华山精舍改为慧山寺。一千多年来，几经兴废，也曾有过多名高僧在这里驻锡或主持，众多名流到此一游或寄寓。康熙帝南巡时至惠山寺，于漪澜堂品泉。乾隆帝南巡时休憩于秦园（即寄畅园）和竹炉山房，书写了不少诗词和匾额，并特为“惠山寺“题额。同治二年，李鸿章军和太平军激战于惠山，惠山寺被毁，仅存寺门匾额，寺也被改为昭忠祠。

惠山寺在唐宋时，香火很盛，寺院范围包括愚公谷和寄畅园等地，僧舍有1098间之多。现寺内保存的古迹有：古华山门、唐宋石经幢、金刚殿、香花桥、日月池、金莲桥、金莲池、御碑亭、听松石床、古银杏树、龙眼泉、大同殿、清代祠堂建筑、竹炉山房、云起楼等。