明代万历二年，朝廷为尊崇圣代真儒陈白沙先生德行，诏建白沙家祠。由春阳堂、贞节堂、崇正堂、碧玉楼组成。祠前有为表彰白沙先生母亲林氏守节事迹的贞节牌坊；祠北面有白沙先生父母墓。四周环境清静幽美，常年办各各展览，是江门市重要的旅游景点。

纪念馆先后于1996年、l999年进行了两次扩建及修葺。在l996年进行的首期工程中,以白沙祠为中线,依南北两侧分布。北有书画廊、楚云台、怀沙亭,南有文献楼、嘉会楼、春阳台、讲学亭。在怀沙亭和讲学亭之旁有池,池中有鱼戏水。在1999年进行的二期工程中,分祠堂区、展览区、民俗村落浏览购物区和小庐山花园区四大区进行改造。经改造后,现东边建成了陈白沙先生事迹陈列馆,馆内展出陈白沙先生的生平、事迹简介、哲学思想作品及大批遗物、墨宝。西边建成了白沙故里。在纪念馆后边,建成了小庐山花园,兴建了孝恩亭、观景长廊等。

陈白沙纪念馆正门有一高高的牌楼,上书“陈白沙纪念馆”五个大字。进入门楼,迎面的是陈白沙先生的铜像,矗立在花岗岩广场的中央。广场曲径通幽,翠革如茵,树林扶疏,置身其中,令人顿生庄严肃穆之感。

陈白沙原名陈献章，字公甫，号石斋。明宣德三年10月21日（1428年11月26日）出生于广东新会县都会乡。童年时举家迁于江门白沙乡，学者以乡名尊称白沙先生。卒于明弘治十三年（1500年），终年73岁。

白沙于正统十二年，二十岁应乡试，考取第九名举人，其后屡次赴京会试皆未第。成化十九年（1483年）时已56岁，始以荐举官授“翰林院检讨”，旋以奉母终养告归，返白沙乡居碧玉楼读书讲学，此后终身不仕。白沙虽然一生不作官，而却以理学而闻名于世，成为明代一个杰出的理学家、教育家、书法家和诗人。其学说则称“白沙学说”或称“江门学派”。

白沙的讲学宗旨，不尚声华，惟务实际，与当时形式时尚，沉溺于利禄功名的传统官学派办学作风，背道而驰，冲破正统派的学术权威，解放传统制度的束缚，为学者开辟了新的道路。

白沙学术思想，对中国文化尤其是岭南文化的发展产生了深远的影响和积极作用，确立了岭南文化在整个中国文化发展的地位。他的学说被誉为“独开门户，超然不凡”，“道传孔孟三千载，学绍程朱第一支”。因此他也被人们尊称为“大儒”、“圣人”，辞世后被追认为“文恭公”，成为中国古代广东唯一从祀孔庙的学者。故有“岭南一人”之誉。

白沙先生是当代诗人，他的诗格调清高，雅淡潇洒，有陶渊明、邵康节的风格。张诩谓“其诗也则功专而入神品，有古人不到者。”他常好以诗论道，诗句之中，多涵哲理，故有“白沙诗语如禅语”之誉。诗句平易近人，不事雕饰而直舒胸臆，又多涵哲理之作，是明诗中最具特色而高致的。

除理学、诗、文之外，白沙更擅作书，其书法植骨于欧阳询，又参以米苏之势，自成一体。早岁作书，皆用毛笔，惟最擅草书，其传世著名的“大头虾谈”书法立轴，其一就是用毛笔书成；晚年喜用茅笔作书，茅笔是白沙创制，以茅心束缚而成，称曰“茅龙”，现在崖门之慈元庙碑，就是白沙晚年用茅龙所书。白沙书法的出现，一洗元代以来柔弱萎靡的书风，使明代书法为之改观。这是白沙于书法造诣上的一个贡献。

白沙先生在江门的遗迹尚存有“白沙祠”、“碧玉楼”、“贞节碑坊”等，均为明代建筑。其中贞节牌坊且定为“广东省重点文物保护单位”。此外还有“钓台故址”、“白沙公园”等纪念建筑物。