太史第遗址位于高州市城西的广潭村，是清代光绪年间，兵部左侍郎、工部左侍郎、国史馆编纂杨颐的故居遗址。

杨颐（1824～1899年），清代高级官员，高州市城西广潭村人。咸丰二年乡试中举，同治四年赴京会试进士，自此踏上仕途。先被钦点翰林院庶吉士，后任至国史纂馆修，及至都察院左副都御史、兵部左侍郎、工部左侍郎。他任职期间，刚正不阿，敢于弹劾那些徇私舞弊、贪赃枉法的大臣。在几次担任主考官中，为朝廷录选了不少人才。对修纂国史、修建北京胜迹也作出了贡献。1898年，为慈禧太后佐勘东陵工程后，请假回乡省亲。翌年病逝家中。

杨颐故居原为三进建筑，砖木结构。待进士及第并出任京官后，择基另建新居，称“太史第”。太史第主体建筑为五路四进，另置后院及前院，周围设大回廊。前院前部建有棱柱形装饰的围墙，回廓四角设置护卫角楼，火力可顾及院内及四周围墙任河一角落。院内凿有水井、花池。整座建筑选料上乘，雕梁画栋，石质栏杆，花砖铺地，富丽堂皇。总面积约7000平方米。

及后，又于主体建筑旁边，扩建约3000平方米的附属建筑。附属建筑为二层楼房式建筑，采用传统的民族风格形式进行装饰彩绘，独具特色。附属建筑与主体建筑协调和谐，构成一个庞大的民居建筑群体，也是粤西地区最大的民居建筑之一。它对于研究岭南民居建筑具有一定的历史和科学价值，被列为市级文物保护单位。