1928年10月20日，南京国民政府内政部参照上海租界公墓制度，颁布《公墓条例》，在公墓的规划、管理等方面均提出了具体规定，通令全国遵照办理。据此，1929年，上海市政府下令筹建市立公墓，由土地局会同卫生局于全市东、南、西、北四方勘定高行、潜径、蒲淞、江湾四处墓址，共征用民地590亩，地价约143，000元。但是，上海市政府成立初期财政困难，无力全面开展公墓的建设，最终决定从江湾一处先行建设，以便市中心区域内坟墓有迁移之所，然后再推及潜径、蒲淞、高行三处，经费得以从容筹划而公墓设备布置亦得措置裕如。然而，即便是江湾一处公墓的建设也颇费周折，始终面临着资金的困窘。
1930年4月，卫生局和土地局派员会同勘定界址，依法征收地亩，开始兴建江湾公墓，即市立第一公墓。该公墓地价共38，000元，由上海市财政局采取分期筹拨的方式予以支付，计划半年内付清，由业主凭借土地局填发的领款凭证向财政局领款。为免应付艰难，财政局请求土地局暂缓填发领款凭证。至1931年初，该项地价才分次筹拨完毕。
除了地价，公墓工程建筑费也是一笔庞大的开支‘恐市库一时无力拨付全部公款”，工程主管部门工务局悉心计划，挑选主要工程，以最经济的方法先行计划，“余侯逐渐推进”。为此，工程分为两期举办:第一期主要有开河筑路、平土、建筑寄枢所、石匠室、礼堂、第一园丁住所、草地树木(以必要为限)、门首围墙等工程，估计约需建筑费七万元;第二期有门首、牌楼、大门、花房、栏杆、喷池、休息室、草地、第二园丁住所等项工程。如此，“既可以纤市库财力，而于工程进行亦不致有所妨碍”。工程款仍由财政局采用分期拨款的方式予以支付。
1931年6月，市立第一公墓开始动已“一·二八”事变后，工程被迫停工，待时局稍微平定，卫生、工务两局以“该公墓为本市唯一市立公墓，所有未完工程函应继续进行以观厥成”，呈请上海市政府令财政局预筹应支各款项。财政局则提出，“当此战后财政支细，而支出浩繁，实无此余款可供应付”，因此建议公墓工程应暂缓复工，藉纤财力。然而，公墓事关公益，“未便半途中辍”。鉴于政府财政困难，上海市卫生局、财政局、工务局最终商定与市银行订立借款合同，“借款五万，惮清旧欠，藉完余工。该项借款侯公墓成立后，即以墓穴售款陆续归还。
适逢此时，铁道部迁移京沪铁路上海北站，拟于江湾建设客运总站，市立第一公墓正好在被圈的范围之内，面临着被拆迁的局势，公墓工程再度停顿。公墓工程已进行一年多，如果被拆迁，所有经营及工款均将虚掷，极为可惜;且该公墓是上海市惟一市立公墓，‘社会需要甚殷”，尤其当时市财政支细，择地重建，将面临更大的困难。为免功亏一签，必须设法予以保全。为此，上海市卫生局和工务局会衔呈请市政府并转咨铁道部，于规划客运总站房屋及路轨时，“务将该公墓设法避让，以免拆迁而观厥成，实为公便。经数次协商，铁道部于1933年4月24日宣布迁站计划暂行停止，同时取消收用地亩公告，“江湾市立公墓基地及房屋目前自可仍旧使用，侯将来迁站计划赓续进行时再行商同上海市政府办理。”
铁道部迁站计划搁浅后，公墓建设也被重新提上日程。1934年7日，上海市卫生局、工务局，会同财政局按原计划与上海市银行签订借款合同，以供工程建设之需。借款总额为国币五万元，月息九厘，“本息以收入之墓穴售价陆续归还，按月结算一次。自公墓成立后，由购穴地人将应缴地价向市银行直接缴纳至借款本息完全清偿为度”，借款以五年为限，如到期不能归清，由财政局拨还利息，按月清结一次。
通过银行借款，公墓得以继续兴工。1935年3月，市立第一公墓完工“规模宏大，地位清静，交通便利，计占地约一百四十亩，先辟穴约三千个，建筑之费，约十五万元，内容布置，宛如花园，风景极佳。且每穴售价仅六十元，颇为低廉。市立第一公墓为兼顾公益，设有免费区，占全部墓地三分之一。
在筹建市立第一公墓的同时，上海市政府先后颁布了一系列规章，如1931年6月13日颁布的《上海市市立公墓管理规则》、1931年9月16日颁发的《上海市市立公墓管理处办事细则》、1935年11月8日颁行的《上海市立公墓建筑基金保管委员会章程》等，从而开启了市立公墓的规范化进程。上述章程的内容主要涉及以下方面:
其一，公墓的规划与销售“每墓所占地亩之面积，长不得逾五公尺，宽不得逾三公尺;每穴限葬一棺;穴之深度以檄盖低于该处地平面半公尺以上为准。“每穴地价收费银六十元，其他葬费概归葬户自理”。
其二，公墓的统一监管“凡葬户领地埋葬完毕，应向管理处报明埋葬日期，管理员据报后即予查填埋葬完毕证二联，一联交葬户，一联呈主管局;公墓管理处应备簿册，将各使用墓穴证书所载事项详细登载以备查考，;“管理处于每月月终时应将本月办理状况及经收费用列表呈报主管局察核。
其三，公墓的维护。公墓内公路、礼堂及公共场所，管理员应督伤工役随时打扫以维整洁，公墓内所植花木不得攀折践踏，并禁止燃放炮竹等物，“舆马除灵车外非经特别许可不得驶入墓内。违背者除法律别有规定外处以五元以下之罚金。
其四，公墓的基金管理。公墓建设是一项延续性事业，为了维持市立公墓的建设和运转，需要一定的保障资金。因此，1935年11月8日，上海市政府特别设立市立公墓建筑基金保管委员会，承担以下职责“一、关于经费之保管事项;二、关于经费之支拨事项;三、关于公墓建筑工程之查考事项;四、关于经费收支之稽核事项。”公墓建筑基金主要来源于售穴收入，及其他因建筑市立公墓所筹集款项，非经委员会议决并呈奉市政府核准有案者”，不得支用。公墓基金保管会每年须编制会务及收支经费报告，呈报市政府并分送各关系机关备查。
