Да: layering, exclusive-lock, object-map, fast-diff, deep-flatten

Тогда логирование поднимать и смотреть что там твориться

Логи OSD, менеджера и монитора смотреть?

Ну, ещё на мон попробовать смапить этот имидж, что бы окончательно убедиться что не с клиентом траблы

Прошу прощения, а это как сделать?

Если нагрузки никакой нет, то вообще все крути, если есть, то с МОНа начинай

Так же как с клиента, та же команда. Если цефчик контейнерный, то вроде ceph-common пакетик поставить для упрощения общения с кластером можно

rbd map --cluster ceph --pool test-pool --name client.userclient image_name команда изначально такая была. "Смапить на мон" — это какой-то опцией здесь указать монитор?

Ничего не значит. Объекты лежат по разным осд и если нет коннекта с несколькими но не всеми то так примерно и будет это выглядеть

Выполнить команду на МОНе, ключик только не забыть положить

А, тогда уже сделано

мне кажется вы сейчас будете удивлены, но клиенты сами лазят за своими данными, а не мон им говорит, что забрать.

И появился рбд девайс ?

Угу

Ну вот, возвращаемся на клиента и проверяем сетевую связность …

> Установили параметр bluefs_buffered_io в True

вхооооодит
и
выхоооооодит

на сколько помню раза три уже меняли значение по умолчанию ))

Хорошо

mtu до всех хостов тоже проверь

кто-нибудь делал обновления цефа через cephadm?
ceph orch upgrade upgrade --ceph-version 15.2.13

cephadm пытается обновить удаленные OSD. Откуда он их берет?

Информация корректная
ceph osd crush dump
ceph auth list
ceph osd tree

ceph orch upgrade check --ceph-version 15.2.13

показывает вот такие ошлепки

       "osd.34": {
           "current_id": null,
           "current_name": "docker.io/ceph/ceph:v15.2.12",
           "current_version": null
       },

[ceph: root@ceph0008 /]# ceph health detail
HEALTH_WARN 1 failed cephadm daemon(s)
[WRN] CEPHADM_FAILED_DAEMON: 1 failed cephadm daemon(s)
   daemon osd.34 on ceph0008.test.lab is in error state

[ceph: root@ceph0008 /]# ceph orch upgrade status
{
   "target_image": "docker.io/ceph/ceph:v15.2.13",
   "in_progress": true,
   "services_complete": [],
   "message": "Error: UPGRADE_REDEPLOY_DAEMON: Upgrading daemon osd.34 on host ceph0008.test.lab failed."
}