吕氏宗祠是由明清之际江南著名理学家、文学家吕留良的后人所建。位于齐齐哈尔市今建华区西二道街北段路西，坐北朝南，青砖灰瓦，古朴典雅，是典型的清代建筑。

吕留良，字用晦，浙江崇德人。雍正年间受文字狱之株连，吕氏举家遭难。免死的吕氏12户111人被流放到宁古塔（今宁安县）；乾隆四十年（1775年）吕氏家族的一部分又被发遣到黑龙江（卜奎古城）。卜奎的吕氏族人或经商，或教书，或行医，渐成望族大户。其中吕留良七子的后代吕景儒（吕留良四世孙）尊师重教，悬壶济世，深得人心。

为缅怀先人，吕氏后人在院内修建了吕氏宗祠。民国元年，近代民主革命家、思想家和国学大师章炳麟（章太炎）来黑龙江视察教育，曾拜谒该祠，并就此撰文道：“齐齐哈尔人知书，由用晦（吕留良）后裔谪戍者开之。”这是近代学者对卜奎古城吕氏一族的高度评价。吕氏宗祠因其家族人物在历史上的影响以及作为惟一保留至今的家祠古建筑，被称为“卜奎第一家庙”。

据了解，曾有北京的专家来吕氏故宅考察，确定为清代建筑。令人遗憾的是，虽然1998年，我市文管站将包括吕氏故宅在内的三处申报市级文物保护单位，但到现在吕氏故宅至今没有列入保护建筑。