平山堂位于大明寺西侧的“仙人旧馆”内，由平山堂、谷林堂、欧阳祠三部分构成，由南至北依次排列。初建于宋庆历八年（1048），时欧阳修任扬州知州。

清李斗《扬州画舫录》卷十六云：平山堂在蜀冈上，《寰宇记》曰：邗沟城在蜀冈上。宋庆历八年二月，庐陵欧阳文忠公继韩魏公之后守扬州，构厅事于寺之坤隅。江南诸山，拱揖槛前，若可攀跻，名曰平山堂。寄魏公书有云：“平山堂占胜蜀冈，一日千里。”谓此，其时公携客往游，遣人走邵伯湖折荷花，遣妓取花传客，事载诸家说部中。嘉佑初，公迁翰林学士，知制诰，新喻刘敞知扬州，有《登平山堂寄永叔内翰诗》，公与都官员外郎宣城梅尧臣俱有和诗。八年，直史馆丹阳刁约自工部郎中领府事，堂圮，复修，又封其庭中为行春台。察访使钱塘沈括为之记。熙宁四年，苏文忠公过广陵，有《会三同舍》诗。登州王居卿知扬州，文忠去杭知密州任，过扬州，有《平山堂唱和诗》。元丰三年，自熙城移守吴兴，过扬州，有《西江月词》，盖距颍州陪宴，时将十年。公卒于熙宁五年，故有“三过”、“十年”之语。……万历间，乌程吴平山领郡事，重修，司李章丘赵拱极为记。本朝康熙元年改为寺。十二年，山阴金长真镇知扬州府事，舍人汪蛟门懋麟修复平山堂。堂之大门仍居寺之坤隅，门内种桂树，缘阶数十级，上行春台，台上构厅事，额曰“平山堂”。时萧山毛奇龄、宁都魏叔子、郡人宗观及长真、蛟门皆有记。会太守迁驿传道，十四年过郡，蛟门拓堂后地建真赏楼，楼下为晴空阁，楼上祀宋诸贤。堂下为讲堂，额其门曰“欧阳文忠公书院”。乾隆元年汪应庚重建，增置洛春堂，又于堂西建西园，自是改门额为“平山堂”，书院之名始革。

咸丰年间平山堂毁于兵火。现存建筑为同治九年（1870）方浚颐重建。民国4年（1915），运使姚煜重修，新中国成立后，1951年、1953年、1979年、1997年进行了大修。平山堂面南而建，五楹，七架梁，硬山屋顶，西南设卷棚，北有短廊与谷林堂相接。堂北檐下悬“远山来与此堂平”匾额，宽1.9米，高0.4米，点明“平山堂”的缘由，为清光绪丙子（1876）秋林肇元题，咖啡色底，白色字。平山堂中楹上方悬“平山堂”三字匾，宽2.8米，高0.95米，黑色底，白色字，为清同治壬申（1872）孟夏之月定远方浚颐题，两侧悬联曰：“晓起凭栏六代青山都到眼，晚来对酒二分明月正当头”，草绿色底，白色字，为朱公纯撰，庚申春日尉天池书。两联中间可透过玻璃方窗看到谷林堂。中联两侧的上方西、东分别悬挂“风流宛在”匾和“坐花载月”匾。“风流宛在”匾，宽3.1米，高1米，为光绪初孟夏两江总督新宁刘坤一题，并有跋文。匾、跋均为黑色底，金色字。“坐花载月”匾，宽2.75米，高0.95米，为陇右马福祥题，并有跋文。马福祥（1876--1932），字云亭，甘肃临夏人，是一位武将，曾任国民政府委员、黄河水利委员会副委员长、安徽省主席。己巳为民国18年（1929）。匾、跋均为黑色底，白色字。“风流宛在”、“坐花载月”的匾额，均是追怀欧公轶事。在匾额下方分别有透空雕花落地罩槅。南边卷棚中间悬“放开眼界”匾，土黄色底，深蓝色字。在其下分别悬二联，其一是：“过江诸山到此堂下，太守之宴与众宾欢”，为伊墨卿先生旧联，光绪戊寅秋日黔南袁伟华重书，灰色底，绿色字。其二是：“山色湖光归一览，欧公坡老峙千秋”，为扬州盐商汪鲁门之子汪国桢原撰，武中奇书，白色底，黑色字。

堂壁有石刻10余块，其中有：《平山堂记》，乙卯九月西亭李正衡撰，男鸿春立石，金大顺镌；《重建平山堂记》，同治壬申夏五月郡人蒋超伯撰，董恂书；《重修平山堂碑》，钦差丙午科广西乡试主考博陵尹会一撰并书，乾隆元年岁次丙辰秋七月上澣之吉立，刻者旌德刘景山；苏轼第三次来扬州（宋元丰二年，1079），思忆欧阳修的感慨之作《西江月·平山堂》词：“三过平山堂下，半生弹指声中。十年不见老仙翁，壁上龙蛇飞动。欲吊文章太守，仍歌杨柳春风。休言万事转头空，未转头时皆梦。”

平山堂南有庭院，为清时行春台遗址。行春台，宋丹阳刁约建，清金镇仿其制重建，汪应庚重加修葺。即欧公柳、薛公柳、左司糜师旦属扬帅种柳处。现植有紫藤、琼花、棕榈、侧柏、柽柳、瓜子黄杨、蜡梅、紫薇、阔叶十大功劳等，四季花香。庭院南有古石栏。栏外植有桂花、淡竹、棕榈、青桐、榉树、枇杷等，苍翠欲滴。