как я написал, сейчас я снес кластер Red Hat, добавил ещё один узел(все узлы идентичны по параметрам), поставил ubuntu bionic на все ноды, плейбуками раскатил openstack и ceph в контейнерах kolla.
NODES:
controller0 (ceph-mon)
controller1 (ceph-mon)
controller2 (ceph-mon)
ceph0 (11 OSD + root)
ceph1 (11 OSD + root)
ceph2 (мой коллега захотел попробовать raid 0, и поэтому тут только 5 OSD raid 0)
compute0 (на этом узле плейбуком запускаю цикличное создание instance в openstack, и дальнейшее попеременное тестирование линейной и ранломной записью, если остается живой, то скрипт повторяет действие)
compute0