咸平城故址原为咸平镇，在市西南50里郑店镇旧乐陵村，址长、宽皆500米。唐、宋时，县城在故黄河（鬲津河）南，1069年（宋熙宁二年）河决，仓卒迁此，草草创城。城辟三门而无南门，原城墙内至今存一高丘，是南宋副相吕颐浩读书处“萃贤亭”遗址。

清乡人张缪有《吕相.“萃贤亭”》诗。至元，平章余潜曾重修城池，于北郊（今乐旧乐陵村）筑“看花台”，台高丈余，可容百人，为观花饮宴之所。明乡人张鹏南《元台春草》诗即咏此。1369年（明洪武二年）,县丞何恒以城址洼下为由，迁富平镇（即今治），城池亭台遂废。