鼓楼是一座三檐十字歇山顶过街楼阁，创建于明代，清朝时屡加修葺。底层用青石砌成四角，当中有十字穿心门洞。上两层为砖木结构，顶楼上架放一大鼓，乃为古时晚间报更时所用，号称“声闻四达”，故名“鼓楼”。

1966年4月定为市级文物保护单位。

1978年秋，鼓楼进行了大规模维修。1985年又进行了全面彩绘，各种图案生动艳丽，面貌焕然一新，完全恢复了雄伟古朴，整洁壮丽的风貌。

过去，鼓楼四面均悬挂牌匾，南向，上匾为“鼓楼”，下匾为“声闻四达”；东向,上匾为“歌风”，下匾为“云开春晓”；西向，上匾为“振德”,下匾为“和声鸣盛”；北向，上匾为“时雍”，下匾为“蟾云就月”。其下檐还另有一方匾额“天理昭彰”。现已无存。