откуда ты знаешь что тут нет трешинга?

с одной стороны, включенный по умолчанию bluefs_buffered_io  и крайне медленная скорость записи на системный диск на это намекают (последний прям кричит). с другой стороны, при отключенном свопе разве не должно это вызывать разнообразные oom? вообще судя по коду, в 12.2.13 по умолчанию bluefs_buffered_io был выключен. теперь сижу как на пороховой бочке. первый факап случился через 8 дней после обновления. потом через 4. потом десятки раз за сутки. по состоянию на сейчас работает 32 часа без факапов.

опять же на ssd-only нодах такой фигни не было. там даже ядро осталось обновленное

При включенном bluefs_buffered_io обращай внимание на параметр ядра - vm.min_free_kbytes

в каком смысле "обращай"? это ведь крутилка. пока везде по умолчанию - 67584. рекомендуется изменить? а для чего и до какого значения?

а, вы  про отстрел по оом? он как раз не страшен, пусть стреляет. главное чтобы не было slow ops, когда у вм виртуальные диски абортят ввод-вывод. если будет просто стрелять осд при попытке выделить память - это даже хорошо, я хоть буду знать в каком направлении рыть =)

за ссылку в ml спасибо =)

а кто чем логи ргвшные забирает из сокета (rgw ops log socket path)?

сам не делал, но всё ж от задачи зависит

можно в пр-цпе тем же logstash'ем фигачить, например

вроде vector может

Socat использую.

Доброго дня! У меня MDS профакапился по памяти... теперь статус rejoin и теперь

    "mdsmap_epoch": 114802,
    "osdmap_epoch": 154974,

я так понимаю. он нагоняет версии?

это можно как то ускорить? Даже ценой оффлайна

ceph daemon mds.srv-ceph1 status

{
    "cluster_fsid": "5ab7ef1a-0604-4668-bf06-a23d2041e3f2",
    "whoami": 0,
    "id": 21374061,
    "want_state": "up:rejoin",
    "state": "up:rejoin",
    "rejoin_status": {
        "rejoin_gather": "0",
        "rejoin_ack_gather": "",
        "num_opening_inodes": 0
    },
    "rank_uptime": 242.928270322,
    "mdsmap_epoch": 115048,
    "osdmap_epoch": 154979,
    "osdmap_epoch_barrier": 0,
    "uptime": 626.05320911800004
}

nc -U /tmp/rgw.sock | jq -nc --stream 'fromstream(1|truncate_stream(inputs))' --unbuffered >> /var/log/rgw_json.log

а потом уже как удобно

Коллеги,  есть ли возможность восстановления удалённых из cephfs файлов? Что-то ничего по этой теме не находится.

Пулы целы, ПГ на месте, тупо недавно удалены файлики. Много.

Из снапшота подними

Ребят, можно я здесь немного про вендорский саппорт IBM бомбану? Просто картинка соответствует ситуации, а может и кто-чего подскажет, куда стучаться.