铁山禅寺始建于东汉末年，是汉人出家的第一位僧侣严佛调所建，为其开山之道场。公元前117年，即汉武帝刘彻在位的第六年，设置了临淮郡，盱眙为临淮郡都尉治所。据《出三藏记集》上记载，严佛调为临淮郡，也就是现在的盱眙。东汉桓帝（刘志）时，洛阳已成为汉地翻译佛经的中心，并在洛阳建立了中国历史上第一座寺院——白马寺。作为当时的知识分子的严佛调有才无报国之门，深感苦恼。他从临淮郡辗转去了洛阳，在鸿濡寺结识了安息僧安世高。安息僧欣赏他的博学多才，严佛调也受佛教思想的影响，遂出家修道潜心研究佛学并参与了译经，成为我国第一个（最早）的汉族僧侣，主要著作有《法镜经》、《沙弥十慧章句》、《大宝积经•郁伽长者会》等。公元182年,严佛调回到了家乡临淮郡，主持修建了以铁山禅寺为主的几座寺庙，广传佛法。他希望自己的开山道场像香火一直延续下去，能够铁打江山般牢固，因此取名为“铁山寺”。

寺庙占地二三百亩，建成历时15年，且历朝扩建，屡废屡建，到明万历年间，规模达到鼎盛，方圆几百亩地内石门石柱、石龛石佛，形成以铁山寺为中心，汪姑寺、清凉寺、龙山寺等十数座寺庙，在皖东地区形成“小九华”，僧人达到千余人，和尚念起经来轰轰如雷鸣。而寺庙的文化交流也相当频繁，主持和尚迷醉云游，先后从大江南北乃至朝鲜半岛带回珍稀物种，并逐渐养成山区偏好植物栽培的风气。到民国初年，土匪横行，十数座寺庙均被山匪所占，当时国民政府调动一个师兵力剿匪，寺庙大部分建筑毁于战火。解放后,只留下部分禅房及断垣残壁,但仍有许多佛教信徒来此朝拜。到文革后期时任江苏省革委会主任、南京军区司令曾是少林寺弟子的许世友将军曾以指导作为名来此朝拜，被当地人传为佳话。

为了弘扬佛教文化和充分体现党的宗教政策，盱眙县人民政府在九八年经江苏省人民政府批准对铁山禅寺进行复建。并组织有关专家对铁山禅寺进行重新选址。二00一年农历八月初八在铁山寺国家森林公园举行了规模盛大的奠基活动，经过历时五年的修建，目前已完成了大雄宝殿（该大雄宝殿为苏北第一大殿，占地面积2000多平方米，室内面积为680平方米）。山门殿和天王殿及佛道和院落等。现已形成初步规模，成为皖东及苏北地区最大的寺庙群落。目前庙内供奉的西方三圣佛、十八罗汉、四大天王、千手观音等几座佛像，均已装金。由赵朴初亲自提写“铁山禅寺”匾额。
盱眙县人民政府决定今年七月八日举行开光典礼，届时将请国内知名大和尚及佛教方面的专家及领导参加开光典礼。

铁山禅寺隶属于铁山寺国家森林公园，业务指导是盱眙宗教事务管理局，目前有僧侣近30人，是苏北乃至皖东地区较大，拥有佛教信徒众多的主要寺庙群落。