与世界其他地区从古代开始就很重视死后墓地建设相比，日本古时候并没有特定的墓地这一丧葬习俗。可以确认的是，日本一直到了10世纪后期，才在贵族阶层中出现并形成了扫墓这一习惯。而这一时期的平民绝大多数都是采用乱葬的形式，所以无论是兴建墓地还是扫墓都没有办法推广普及。
上海公墓,浏家港陵塔
然而，随着佛教在日本的室田r时代以及江户时代初期的广泛传播，信仰佛教的平民越来越多。对于死者进行乞求冥福的祭祀行为也随着佛教寺院布教活动的推广，开始在日本各地流行起来。寺院也承担起建立墓地的职责，这就使得日本的墓制从一开始就具有浓厚的佛教特征。
德川幕府时期，由于幕府对基督教的禁抑，宽永十四年(1637年)爆发了基督徒反抗幕府统治的“岛原之乱”。幕府深深感到基督教的弊害，从而开始实行锁国政策。幕府利用佛教的基础，建立“寺请制度”，以彻底肃清基督教的余势。所谓“寺请制度”是将全国每一个国民均纳入佛教组织之中的制度。不论所加入的是哪一宗派，均属合法。加入寺院的人称为“檀家信徒”，负有维持寺院费用及住持生活的责任。寺院则掌有证明其人确为该寺信徒而非基督徒的权利。然而由于婚姻或离开其原住地等种种情况，乃使一个家庭可能与二个以上的寺院发生寺檀关系。因此，到了1700年，为了方便“宗旨人别帐”(宗门户口簿)的登记，檀家与寺院的关系，是一家族的全体均属于一个宗派中的同一寺院，此即称为檀家寺请制度，也被称为“一家一宗制”。檀家寺请制度实施以后，每个人都有了不同宗派寺院的归属，寺院也就成了安葬死者的神圣之地。墓制与葬法密不可分，它伴随着葬礼同时构成丧葬仪俗的重要组成部分。
日本墓制发展的历史，除去一些零星的坟墓外，大体上可以划分为三个阶段。第一阶段为古坟时期的前方后圆坟，第二阶段为五轮塔墓，第三阶段是石柱墓。
平安时代中期开始出现了五轮塔形状的坟墓。起初，高僧、贵族、武士阶层大量建造这种石塔，后来逐渐普及到一般民众当中。五轮塔墓是日本特有的一种墓制形式，从下至上分别由四方形、圆形、三角形、半圆、圆(如意宝珠形)叠加成五轮佛塔，它们分别代表佛教中的地、水、火、风和空等五大要素，是自然崇拜的残余。源于印度的密教认为，地、水、火、风、空即代表宇宙万物，五轮塔墓象征宇宙，它是以五轮为轴心的宇宙模型。遗骨纳入塔中，灵魂得以净化，便可超度成佛。近代以后普遍制造的石柱形墓(角柱型墓)是四方形轮廓的墓标，它的地基由两层或三层底座构成，上方安置长方形柱石，表现得更加简单化和抽象化。如果说五轮塔墓代表佛教的宇宙观，那么石柱墓则或多或少地渗透着一些神道的自然观。
另外，日本社会自平安时代至镰仓时代出现了遗骨信仰的习俗，骸骨不仅仅是死与无常的象征，它还在不断地发生转变，推动人由生到死、由死到再生。墓碑则是死与再生转化过程中的纪念碑。近代日本人认为坟墓为生命的回归提供了可能的舞台，墓地是祖先安息的场所，那里没有世俗的烦恼与痛苦，是神圣之地。由此可以看出日本传统的祖先崇拜思想对墓制的影响。
