Вот кстати @vitalif в витасторе эта простая фича былаб кстати

Типа если суваешь диск без долбицы разделов -- он его хавоет и сразу берет в оборот

На удеве как нех делать

а потом будешь сидеть и ныть что витастор в докере и нахер ваще этот ваш витаадм придумали 🤣

@kvaps приветствую !!!
вы не сталкивались в ceph с flapping osd ??
у нас это выглядит феерично... после обновления с 14.2.2 до 14.2.22 osd "вхолостую" без дисковой активности могут съедать более 100% ядра и при этом еще и "отваливаются" - перестают друг друга видеть.....

с сетью и железом все в порядке....

Скрабинг?

ну 1 pg в скраббинге... это как бы ни о чем, с учетом того что всего 20 osd.....

причем вываливаются osd которые в скраббинге не участвуют - на их дисках активность 0 по iostat

Ну тут гадать можно долго

Читали?
https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html/troubleshooting_guide/troubleshooting-ceph-osds

Логи то что говорят? Чем таким осд занят что 100% цпу ест

да, первым делом.... по этому букварю все ок. временная установка nodown проблему не решает, как и удаление private сети

2021-07-27 18:29:35.836 7f1fc665f700 -1 osd.0 210677 heartbeat_check: no reply from 192.168.107.101:6902 osd.7 ever on either front or back, first ping sent 2021-07-27 18:28:52.364951 (oldest deadline 2021-07-27 18:29:22.365852)
2021-07-27 18:29:35.836 7f1fc665f700 -1 osd.0 210677 heartbeat_check: no reply from 192.168.107.101:6858 osd.8 ever on either front or back, first ping sent 2021-07-27 18:28:52.364951 (oldest deadline 2021-07-27 18:29:12.364951)
2021-07-27 18:29:35.836 7f1fc665f700 -1 osd.0 210677 heartbeat_check: no reply from 192.168.107.102:6829 osd.9 ever on either front or back, first ping sent 2021-07-27 18:28:52.364951 (oldest deadline 2021-07-27 18:29:17.065412)
2021-07-27 18:29:35.836 7f1fc665f700 -1 osd.0 210677 heartbeat_check: no reply from 192.168.107.102:6883 osd.10 ever on either front or back, first ping sent 2021-07-27 18:28:52.364951 (oldest deadline 2021-07-27 18:29:17.065412)
2021-07-27 18:29:35.836 7f1fc665f700 -1 osd.0 210677 heartbeat_check: no reply from 192.168.107.102:6822 osd.27 ever on either front or back, first ping sent 2021-07-27 18:28:52.364951 (oldest deadline 2021-07-27 18:29:12.364951)

тупо не видит соседей, хотя пинг туда идет, selinux и firewalld отключены

при чем не видит эпизодически....

А вас не смущает, что время в логах на полминуты отличается? Проверьте синхронизацию времени

не понял, где вы углядели 30 секунд разницы ?
вроде у меня ntpd работает, да и ceph -s ругался бы на разъезд времени - у меня osd с мониторами на одних машинах лежат

Это я попутал, с телефона все строчки в кучу собрались