文昌阁位于武山南端潭墩山顶。四周古木垂阴，临溪碧潭如镜。1773年（清雍正九年）始建，规模很小，是文昌会、文武会、锦溪书齐诸会文人学士聚会、拜祭文昌帝君之处。1924年清朝，蒋介石从广东回乡扫墓，见其楹栋欲斜，请蒋介卿负责重建，次年建成。建筑楼房500平方米。块石垒台，青砖砌墙，飞檐翘角，梁架雕人物花鸟。廊饰花窗，阁顶悬红木宫灯，落成之日，蒋介石取名“乐亭”，撰写《乐亭记》，以述其胜，回乡时常居此。但溪口人仍习称为文昌阁，而称东北侧的两层方亭为乐亭。

1939年12月12日下午，被侵华日军飞机炸毁。1986年国家拨款近30万元，由东阳县木雕营造厂承建，次年1月完工，重现原貌。登阁凭窗四眺，远看青山，俯睇烟市，景色迷人。

近有钓鱼台、憩水桥、武岭潭，“碧潭观鱼”为清代溪口十景之一，清人蒋廷秀诗：“碧潭潭水水光浏，养得金麟盈我眸。何必西岐有灵沼，依蒲依藻待人游。”1985年5月,武岭潭附近新增竹筏3张.每筏可乘10余人,观赏剡溪秀色,醉人心目。