不强制设置安全生产管理机构的单位是矿山、金属冶炼、建筑施工、道路运输单位和危险物品的生产、经营以及储存单位。根据法律规定，矿山、金属冶炼、建筑施工、道路运输单位和危险物品的生产、经营、储存单位，应当设置安全生产管理机构或配备专职安全生产管理人员。
法律依据:
《中华人民共和国安全生产法》第二十四条矿山、金属冶炼、建筑施工、运输单位和危险物品的生产、经营、储存、装卸单位，应当设置安全生产管理机构或者配备专职安全生产管理人员。
前款规定以外的其他生产经营单位，从业人员超过一百人的，应当设置安全生产管理机构或者配备专职安全生产管理人员；从业人员在一百人以下的，应当配备专职或者兼职的安全生产管理人员。
