2ssd из 6 эт hhhl?

Не диски все такие https://ark.intel.com/content/www/us/en/ark/products/134925/intel-ssd-d3-s4610-series-1-92tb-2-5in-sata-6gb-s-3d2-tlc.html

прошивку обновил)?

хотя если больше полугода работает значит не актуально

Прошивку обновляли, когда собирали серваки..

Так то к ssd притензий нет, не тормозят и не фризят.

по одному процессору на сервер?
мониторы на них же?
сетевые карты/пропускная?
кол-во памяти?
сколько пулов и ПГ? пулы 3-way видимо, раз мин-сайз 2?
сколько данных в пулах и есть ли постоянная нагрузка какая-то?

я не работал с bcache, не уверен как это может или не может влиять. А какого размера разделы под rocks/wal, если у вас в 2ТБ пишет rocks/wal от 6 дисков и еще и 2 ОСД на тех же SSD?

про разделы под rocks-wal - это вряд ли имеет какое-то отношение к вашим фризам, но имейте в виду что это может убить производительность вашего кластера в будущем :)
дефолты по уровням rocksdb в сефе: 3, 30, 300ГБ, почитайте про rocksdb level compaction. Т.е. часты ситуации, когда под рокс дают, например 100ГБ, а когда база вырастает до 31ГБ она начинает писать в механику в ОСД, потому что рокс не может взять следующий левел - 300ГБ. У вас большие хдд ОСД, рокс могут вырасти за пределы 30ГБ, поэтому советую менять фактор роста, например 1, 10,100ГБ и давать 100+ГБ под разделы

2 cpu, 28 ядер.
мониторы и mgrы на них же.
128 гиг памяти
Сетевухи mellanox lx-4 2x10GE LACP.(cluster netowrk) 2x10GE (client)

на ssd дисках, где я тестировал 1 пул minsize 2 , 3replica. + еще несколько не используются..
ну еще несколько пулов на hdd..
Постоянная нагрузка примерно 300op/s 8MB/s на hdd пул.

pools:   10 pools, 1993 pgs
    objects: 721.60k objects, 2.7 TiB
    usage:   13 TiB used, 229 TiB / 242 TiB avail
    pgs:     1993 active+clean

wal у меня 2 GB а rocks 300GB(, на тех же ssd.) max_bytes_for_level_base=256MB.

в пуле на котором я тестировал 64PG, там image 10GB

Направьте на правильный путь:
следует делать задержку в systemd для запуска osd(чтобы они не все одновременно поднимались) ?

ой ну хавтит уже эти магические циферки носить )))

#rocksdb_lvl nau 14.2.16 без тюнинга

первый график - размер раздела DB
второй график сколько занято
третитй сколько занято на медленном драйве
четвертый интенсивность записи в вал

раздел 300гб?

161

объясните?

чтоб обяснять?

Спасибо! Вы имеете в виду FILE LAYOUTS?
Я уже тоже пошел по этому пути, но не могу установить указанные в документации атрибуты через setfattr - получаю ошибку "Неподдерживаемая операция".
Куда грести не пойму пока.

какие магические циферки хватит носить?

3 30 300