1894年日本侵略者对中国发动了甲午战争，同年11月21日，日军侵入旅顺口，进行了四天大屠杀，制造了一起震惊中外、惨绝人寰的历史惨案--旅顺大屠杀。大屠杀过后，日军为掩人耳目，消除罪证，驱使我死里逃生的同胞组成扛尸队，把死难者尸体集中火化，烧了十几天后，将骨灰埋在白玉山东麓。

1896年11月，日军撤出旅顺后，清朝派来接收旅顺的官员顾元勋在此树立了第一块碑石，亲书"万忠墓"三个大字，以示祭奠。后又分别在1922年、1948年经过维修，并树碑。碑阴铭文记述了日军暴行和重修万忠墓的经过。

1963年万忠墓被列为省级文物保护单位。1994年是大屠杀百年，旅顺口各界人士重新安葬甲午战争殉难同胞。并于11月21日旅顺各界隆重举行"甲午旅顺殉难同胞百年祭"活动，并树立了万忠墓第四块碑。重修后的万忠墓陵园占地9300平方米，纪念馆建筑面积1100平方米。原任国务院总理的李鹏同志亲自题写了"万忠墓纪念馆"的馆名。

1997年万忠墓又被中宣部命名为全国百家爱国主义教育示范基地之一。

1998年12月22日，一座占地面积为312平方米的半景画厅在万忠墓纪念馆内正式落成并对外开放。