нода с монитором уже тоже вернулась, только osd не все, сейчас посмотрю почему не все

теперь вообще HEALTH_OK, но команды висят)

rbd блаблабла —debug_ms=10/10

думаю вам поможет

ох, там каша в выводе, куда смотреть то?

если не —debug_ms=10/10, а debug_rados=20, то каши поменьше

о интересно, HEALTH_OK внезапно закончился

теперь 1039 pgs inactive, чудеса какие то

1. смотрите время
2. сеть, в том числе mtu
3. поднимите mgr

в общем, команды rbd XXX отлипли, все образы видно, снова HEALTH_OK, но сплошные вопросы
1. Почему после возварщения последней ноды сразу HEALTH_OK, потом спустя минуту оказывается, что нет - у нас по факту около 1000 неактивных pg, у которых pg dump показывает только лишь номер, ни 1 активного osd, мастер osd = -1. И они ушли после рестарта OSD на нодах, которые побывали в ребуте. Но osd стартовали ж норм после ребута, 100% osd вернулось в строй. И их пришлось еще раз руками все по очереди рестартовать....
2. Или все таки влияло отсутствие последнего монитора в кворуме на это все....
3. 4 из 5 мониторов были в строю, 5 вернулся в кворум, на тех 4, что было показало clock skew ??? На величину, равную даунтайму этого последнего монитора в секундах. Хотя по логике, clock skew как раз таки на том, кто был в дауне.... И висело clock skew минут 5, до рестарта руками 1 из мониторов, хотя ntpd давно все время на нодах выровнял, буквально в течение минуты после загрузки...

1. доступность mgr(у вас же написано no active mgr!)
2. нет, это 1
3. это нормальное поведение.

решение: поставить еще один mgr

А как вы считаете какая нагрузка будет  на клустер  запись/чтение соотношение  интересно

10/1

Хм.. а фактический какой?

5 к 1 где-то?

Я бы 70 к 30 брал

эт получается 2 к 1

Low space hindering backfill (add storage if this doesn't resolve itself): 7 pgs backfill_toofull