@mamahtehok спасибо за помощь

🙂

тебе спс за фикс )

не лучшая идея трогать пулы цеффс, лучше сделай отдельный пул для конфигов.

насколько я понимаю с rados_ng оно его не юзает, я его как минимум нигде не передаю. То я для rados_kw делала потестить

Всем привет!
Правильно я помню, что при создании DB на отдельном диске (SSD) wal создается там же (вместе с DB) автоматически ? Как это можно проверить ?

да, я не внимателен, не замтил как kv на ng поменялось )))

да, вал будет создан на дб, если не указать иного.

такой Segfault падения osd кто-нить встречал?
https://pastebin.com/1vcfzgcA

я не видел, хз что это такое

напиши ещё чего делал

вдруг кто-то сталкивался

bad crc in data
самое первое сообщение, наверное данные где то побились при передаче

RAM с ECC?

создал новое дерево (недефолтный рут)
добавил в него несколько бакетов, в них osd
поднял на них пул
сунул новый пул проксмоксу (там уже были другие пулы, все работало)
и начали раз в 10-15 минуть падать osd во всем кластере (но не повторялись, каждый раз новые)
потом увидел что не дал проксу кейринг для нового стораджа, сделал, 2 часа поработало думал дело было в отсутствии кейринга, но опять пара штук упала (у всех одно и тоже в логах, трейс выше)

с сетью все ок, в dmesg чисто, память с ECC

версии случайно не смешанные цефа?

падают osd из дефолтного рута, а не с нового пула
нет, везде 12.2.13

я видел на более новом цефе усиленное срание в лог сообщениями типа
verify_authorizer could not get service secret for service osd secret_id=...
но чем это вызывается я не понял, прошло потом как-то само

усиленное - это прям по 15 гигов этого сообщения было каждый день от каждого осд

есть понимание что за secret_id?
could not find secret_id=20257