归鸿阁是宋代所建，该阁在县署高大仪门外之右，虽背北面南，却阳光难于照射其上，唯在晴日黄昏之际，残阳夕照，霞抹晴空，金光灿射，亭阁生辉，因而名之。位于浏阳 县署高大仪门外之右。

据同治《浏阳县志》载：归鸿阁取昔人目送鸿归而名之。宋代浏阳知县杨时所建，岁久阁早已坍颓，其迹不存。1094年（哲宗绍圣元年），杨时知浏阳县事。在任4年，有惠政于民，首建飞亭，又建归鸿阁，写有《归鸿记》：“县宇西北墉之隅。有废址焉。……荒堙芜没。予一日，曳杖蹑履，徜徉乎其下，周览左右，洒然异之，披秦刈蔓而嘉木茂卉，连山穷谷，挺芳含媚，隐然四出。乃取县府之弃材，为阁于其上。”后来张又作《归鸿阁记》：“公（杨时）之德及邑民也，深矣！后六十有六年，建安张才邵来为政，慨然念风烈，咨故老，葺公旧所，为归鸿阁，绘像于其上，以示后，以慰民之恩，去击不忘也。”清人周忠信有寄鸿阁斜阳“浪淘沙”词一首：

高阁对琴堂，淡抹烟光，年来风物换沧桑，翘首飞鸿何处落，一片斜阳。

遗像绘图装，千载传芳，程门人去景苍凉，遥见暮云笼树碧，犹忆甘裳。