Т.е. к самому nvme претензий особых нет.

А в логах системы нет чего еще странного, не относящегося к работе CEPH?
Ну может по PCI он с кем-то не очень дружит...

Отстрел всех OSD наводит на мысли что плох чем-то nvme. Я бы копал вокруг него.

в логах системы чисто.  а теория что осдшки троттлят одновременно нвме изза того что одновременно запущены не имеет смысла? просто я в логах пары-тройки осд вижу за минуту до инцидента нечто такое

2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156303, "job": 103, "event": "table_file_deletion", "file_number": 821834}
2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156322, "job": 103, "event": "table_file_deletion", "file_number": 821832}
2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156339, "job": 103, "event": "table_file_deletion", "file_number": 821830}
2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156395, "job": 103, "event": "table_file_deletion", "file_number": 821828}
2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156415, "job": 103, "event": "table_file_deletion", "file_number": 821826}
2021-08-06 09:32:05.152 7f6c8956f700  4 rocksdb: EVENT_LOG_v1 {"time_micros": 1628224325156518, "job": 103, "event": "table_file_deletion", "file_number": 821825}

ну и в других логах тоже то компакт, то создание новой таблицы, то флуш таблицы... и все это примерно в одно время

Это сжатие rockdb
Вот чего с ней nvme не справляется, не понятно.

А разметь на этом nvme ещё один раздел и погоняй fio в 12 и более потоков.
Если будет загибаться, то nvme или что-то около него не так уж и хорошо как кажется...

@vitalif @socketpair @SinTeZoiD

попробую, если место осталось, там все впритык. спасибо!

а все же что насчет идеи запускать осд не сразу а с интервалом в минуту скажем? дурацкая?

fixed. оно бота прошло ?

Ну видать

Идея имеет право на жизнь но они должы очень сильно и долго в нее гадить чтоб отстрел происходил. Т.е обычно при нормальной нвме компакт вызывает подем ла на ныме ну на пару секунд, этого не достаточно чтоб начался отстрел

Спасибо. Я попробую потроттлить nvme самостоятельно в 12 потоков. Наверное осд при этом лучше убрать в аут, чтобы не интерферировать?

Ну и конечно сделайте мониторинг для анализа :)

Здесь вопрос философский, вилка на столе лежит а тарелка стоит

Кошка на столе сидит. А если это чучело кошки в той же позе, то стоит

Птицы на ветках сидят, хотя по факту стоят

Ещё не 4:20 ты уже погнал

В чем «философность» вопроса?

В том что сигара - это просто сигара

а теперь самое прикольное - это происходит на всех шпиндельных нодах кластера после обновления с люминуса.

Отсюда ещё один дурацкий вопрос экспертам: а откат на люминус с наутилуса возможен? С учетом того что новых осд не создавалось

ceph osd set norebalace; ceph osd set nouout   спасет от вставания колом при тестах.