奎文阁位于芷江东北隅（现人民医院内），原不昭忠祠。为全城的至高点，号"奎文"，始建于清乾隆十八年至二十八年期间（公元1653年－1763年）。原址在城东南隅水东门顶，为当时文人学士祭祀文曲星及休闲之场所，因嫌其地狭，于民国三十四年（公元1945年）由芷江简师移迁至昭宗祠。

此阁为三檐八角亭木结构阁楼式建筑。共三层，通高10.13米，径长9.2米，顶层4.05米，逐层收山，八背翘角，无宝顶攒尖，盖小青瓦，阁顶双重飞檐，内斗拱，梁架彩绘龙飞凤舞。任栏竖柱由朱红尽梁，每层疏牖洞达，上奉"奎星"神位，中置"文昌帝"座，阁四周被大树环抱，花草争妍。登阁凭栏回顾，芷水如带。明山似屏，城区栋栋新楼，耸秀染壁，银光辉煌，尽收眼底。解放后，照忠祠内创建人民医院，几次拨款对阁楼进行维修，增添新彩，人仅为疗病者提供闲暇之所，也是游览者必往之处。

芷江县内唯此一亭，因其具有较浓的地方建筑特色，而成为一处风景名胜，1989年列为县级文物保护单位。