望江楼地处湖南省西南部，沅水中上游。地理位置跨北纬25°52′22″----29°01′35″，东经108°47′13″--111°06′30″。东倚雪几山脉，与邵阳市、益阳市、娄底市接壤，北靠武陵山脉，与张家界市、湘西土家族苗族自治州交界，南与广西桂林市、柳州地区相连，西界贵州苗岭，与黔东南自治州、铜仁市毗邻。历史上有"黔滇门口"、"全楚咽喉"之称；而今湘黔、枝柳两条铁路和320、209两条国道成"十"字型交汇于怀化市。

望江楼乃靖州标志性建筑，屹立天渠水与异溪交汇处，纳黄鹤、岳阳诸楼之雅趣，汇五溪、西楚文明之精髓，取中国古建之要旨，占鸣凤展翅之祥地，得玉龙抬头之灵机，聚靖州人文风韵于一楼。扼异溪，枕渠水，巍峨挺拔，大气磅礴，实属得山得水得时得人之壮观。

1999年7月20日，靖州县委、县政府为配合旧城改造成二期工程卫门口小区建设，提出兴建龙凤岩景区。

经过一段时间的实地调查和认真分析，在原龙凤岩处建一座靖州标志性建筑，成为景区的主景点。龙凤岩位于渠水和异溪交汇处，历史悠久，地貌独特，传说故事神奇，群众广知其名，如在此建定座高大建筑，一可为景区增辉，二可尽收全城风光。因此，经研究决定在此建一座阁式仿古建筑，同时，为衬托该楼，规划在楼前建一个音乐喷泉广场，广场旁配一栋两层仿古式门面楼（供景区服务经营），右侧建回廊，临河修栈道，以供游人休闲游览。

经商议，决定参照宜昌市镇江阁形式，在龙凤岩上建一座龙凤阁（后定名为望江楼）。该楼设计为5层，为重檐歇山顶楼阁式仿古建筑队，总高32.6米，建筑面积1000平方米。基台尺寸为22米×22米，主楼基础主楼基础轴线13米×13米，座向为东偏南4度方向；基础座落在龙凤岩临江灰岩上，基台面高出主干道二级踏步，四周为草白玉石栏杆围护，台基平面铺石板；正门前安放2.5米高石狮一对。主楼各层设1.5米宽回廊，每层设公厕一个，楼内门窗为木制刷漆，屋顶及各垂檐盖琉璃瓦面。