文游台始建于北宋太平兴国年间（公元976年），是筑在东山顶上的高台建筑，原为东岳行宫（俗称泰山庙）的一部分。是古秦邮八景之一。元丰七年（公元1084年）北宋大文学家苏东坡路过高邮，与本地先哲孙觉、秦观、寓贤王巩聚会于东山庙台载酒论文，从此“四贤聚会”成为佳话。“文游台”于此而得名。