создал новое дерево (недефолтный рут)
добавил в него несколько бакетов, в них osd
поднял на них пул
сунул новый пул проксмоксу (там уже были другие пулы, все работало)
и начали раз в 10-15 минуть падать osd во всем кластере (но не повторялись, каждый раз новые)
потом увидел что не дал проксу кейринг для нового стораджа, сделал, 2 часа поработало думал дело было в отсутствии кейринга, но опять пара штук упала (у всех одно и тоже в логах, трейс выше)

с сетью все ок, в dmesg чисто, память с ECC

mtu?

оно бы все osd афектило на ноде

ну тогда листать багтрекер

bad crc in data
самое первое сообщение, наверное данные где то побились при передаче

у меня вот прокс разных версий в кластере)

а клиент?

ceph -v то есть