牛头山座落在距杉板乡政府驻地2.5公里以南，纵向长20里，横向宽10里，海拔高350米。相传原来这里是一条河，叫杨家河，秦始皇赶山路过此地时，正好天亮了，于是形成了一座山。

牛头山整个山形酷似卧牛，头北角南，头顶平坦。山顶有两口水井，常年不枯，水源不断，据说是牛的两只眼睛。中间有两个小凸，叫膝盖凸，据说是牛的膝盖。后面有一条小山埂，据说是牛的尾巴。相传南宋岳飞抗击金兵时，岳飞的手下战将高宠挑铁滑车12辆正是此山。当挑至最后一辆时，高宠被铁滑车压死，于是，便葬在该山的北边山腰上，名叫千紫坟。后人为了纪念高宠，于乾隆五十六年在山顶修建了一座庙，叫高宠庙，又叫高二观。1958年后原寺庙全部捣毁，目前山上又新修了一座庙宇，游人香客可环山进入此庙，烧香拜佛，祈求平安。