晋时为一小庙，唐云安禅师重建，旁有龙神堂、药师殿。南宋绍兴间行僧心庵再建。僧士性建尊胜幢以镇虎患，仍名伏虎寺，一说寺后山状如伏虎而得名。又称虎溪禅林。明时建罗汉堂，塑500阿罗汉，技艺超绝，后毁。清顺治八年（公元1651年）贯之和尚偕徒可闻、寂玩、帷密重修，历经20载告成，名虎溪精舍。