Если сделать домен отказа OSD оно заведется, но при добавлении нод данные останутся лежать не правильно. Может получиться так что все части останутся лежать на одной ноде и их можено протерять. Либо нужно будет скопировать пул с правильнымы crush.
@Skybad второй вариант. ставишь osd_crush_update_on_start=false далаешь в crush три виртуальных хоста потом приколачиваешь к ним существующие OSD. Когда поключишь другие ноды - отколачиваешь эти OSD И всё живет как положено