钟楼，明万历二十七年（1599），知府张尧文主持建筑。楼高7丈，基开四门作通道。登楼小门与石阶在楼东门角、座北朝南。楼座中间有一大方孔，铺木板遮封。二楼和三楼为全木结构，漆黑光亮。登三楼是木梯，靠两面方面，自南向北而上。三楼上有一木结构挂钟用的架子。原有3000斤重的铜钟。被侵华日军所掳掠。

衢州钟楼为明代早期古城建筑。位于北门街南端十字路口而中空通四路。钟楼基座是石条砌成的方形建筑，边长12.5米。不算堞垛，高4.3实。石四面的拱门洞高3.94米，基座上建三层木构钟楼，面阔进深，每层各三间，周边有回廊，重檐覆屋，四角攒尖。自在至顶高达二十余米，在中国古代，像这样气势壮观的条基座，四向拱门，三层重檐木构的钟楼十分罕见。堪称中国古代建筑之瑰宝。