pools:   10 pools, 1993 pgs
    objects: 721.60k objects, 2.7 TiB
    usage:   13 TiB used, 229 TiB / 242 TiB avail
    pgs:     1993 active+clean

мне кажется при таких параметрах системы, и при таком количестве данных, 30 секундный фриз это не нормально.
вообще процесс пиринга я понимаю весьма поверхностно, вероятно Виталий мог бы более детально прокоментировать, но при синхронизации pg_log и при сравнении epoch и состояния групп, насколько я понимаю медленные диски не должны вызывать задержку (именно во время пирринга).
У вас пока 30 секунд фриз - что ceph -s пишет про PG?

Ебать ты бесстрашный

действительно, повезло 700 раз ))) я сделал ровно тот коментарий который хотел )

Мне кажется или @Stormeez троллит

и кстати да уровни 1 10 100 ни разу не спасут от спиловера )))

да ваще ни разу )

мей би )

пойду поработаю тогда )

В инете кто-то не прав и ты с ним споришь)

Где ж я спорю то )))

я просто показываю факты )

ceph -s кстати ваще ничо не будет писать, ведь люди отключают дебаг

Хорошо что я не пользуюсь блевстором

pools:   10 pools, 1993 pgs
    objects: 721.60k objects, 2.7 TiB
    usage:   13 TiB used, 229 TiB / 242 TiB avail
    pgs:     1993 active+clean

например, в небольшом кластере:

 data:
   pools:   1 pools, 2048 pgs
   objects: 27.57M objects, 70 TiB
   usage:   224 TiB used, 123 TiB / 347 TiB avail
   pgs:     2048 active+clean

заполнение ОСД в нем примерно 60-70%, но это all-flash.

при рестарте шесть ОСД заходят обратно в кластер за 10-15 секунд, при этом IO не проседает, постоянная средняя:


 io:
   client:   716 MiB/s rd, 472 MiB/s wr, 11.94k op/s rd, 8.79k op/s wr

в пике бывает гораздо больше.

Кластер под виртуальными машинами через iscsi, т.е. таймауты очень ощутимы, особенно для БД (около 100-150 вм под БД)

процессоры 4216 - т.е. примерно идентичны вашим

Я уже нописал, на данной платформе такое явление я и сам наблюдал, хотя у меня файлстор

И это ни как не зависит от настроек

Имхо

Вопрос скорее к платформе самой

Потому что оллфлеш в нодах по 7 осд рестартится тоже секунд 10-15