胡耀邦祖居地位于高安伍桥镇境内的蔡溪胡村，距市区25公里，蔡溪胡村地处风景秀丽的华林山的南端。明正德中叶胡耀邦的祖先，由此迁居湖南浏阳文家市，其子胡德平先生曾多次到高安寻根问祖。该村还保留明代官厅一幢，虽已破烂，但明代建筑风格犹存，据考证曾是胡耀邦祖先的居住房。