北宋建炎二年(1128)秋，金兵进逼，宋高宗率王室从归德南下渡江，三年春逃至临安(今杭州)。山东曲阜袭封衍圣公的孔子第48代裔孙孔端友及其从父孔传，率部分族人奉孔子和亓官夫人楷木像跟随王室南下。后宋廷赐居衢州，并于绍兴六年(1136)以衢州州学作为孔氏南宗家庙，按南宗人口计赐粮田，免租税，以供祠祀家庙和赡养幼老孤寡。绍兴八年，又赐田5顷，供奉祀。此后，历朝屡有赐田资助事宜。

宋宝祐元年(1253)，衢州知州孙子秀申报，朝廷拨款36万缗，于城北菱湖畔建家庙达200余楹、规模略同曲阜。宋末，家庙毁于兵燹。改迁城南崇文坊另建。其后，因孔洙让爵于北宗，南宗家庙一度被朝廷冷落，复建家庙事被搁。

明洪武十九年(1386)南宗祀田被抄没入官，直至正统十年(1445)才发还。弘治十八年(1505)衢州知府沈杰为家庙荒废事申奏明廷，意见被采纳，于正德元年(1506)授予孔子59世孙孔彦绳为翰林院五经博士，主持南宗家庙奉祀事，子孙世袭。正德十四年，彦绳子孔承美封第二代五经博士。次年，孔承美会同巡按御史唐凤仪、布政使何天衢等，以城南家庙颓敝不堪，选址于先义坊原西安县学宫旧址(今新桥街46号)重建，规模比城南原址宏伟，并建有孔府，占地4700平方米，以后，屡加葺修，其中道光元年(1821)进行过一次大修扩建，将思鲁阁从大成殿后面移于西北隅，将大成殿基增高5尺，部分楹柱改木为石。

抗日时期，日军两度侵衢，家庙大部破坏。民国三十五年，国民政府曾拨款重修。

1965年，县人民政府公布孔氏家庙为县级重点文物保护单位。1982年，省人民政府和县级市人民政府拨款重修，现家庙面貌焕燃一新，已经对国内外游客开放。