潇湘楼坐落湘江、祁水汇合处，县城古城墙潇湘门旁的石山上，畔水穿城汇湘江处，为纪念舜帝“泛湘江”巡祁阳而建，供奉舜帝和娥皇、女英像。原楼建于明嘉靖年间，现楼为民国初年重建，高8米，占地1209平方米，中西合壁砖木结构，登楼眺望，江水浩渺，远峰低云，帆樯片片，水鸟翱翔，不禁心旷神怡。昔诗记云“云根突兀耸危楼，古树扶疏绿荫稠。山色迢迢自今古，江波淼淼长去留，风清雨过诗情淡，日暮云沉客自愁。两岸芦荻抽嫩笋，炊烟凝处有渔舟。”是市级文物保护单位。