茶马司位于百丈湖之西5公里处，108国道旁，即南丝绸之路的商业通道上。建于宋神宗熙宁七年(1072年)，并“遣官以主之”，专司茶马事宜。清道光二十九年(1849年)重修的茶马司遗址系纪念性建筑，占地面积约4000平方米，建筑面积1000多平方米，是一座石料檐柱的砖木结构四合院。历史上的茶马司主要与藏族为主的各民族进行以茶换马交易，而用于军事，鼎盛时期达到“岁运名山茶二万驮”之多，有时接待民族茶马贸易通商队伍人数一日竟达2000余人，盛况可见一斑。