Версия 16.2.4 в логах пусто

Тогда сложно сказать. С 16 версией есть только один кластер и то в полуразобраном состоянии.
А как ты osd добавляешь ?

Я пробовал по разному,через web морду и через оркестратор
for DD in /dev/sd{a..z} /dev/sda{a..j} ; do ceph orch daemon add osd st01:$DD ; done

А они у тебя вообще видны ? ceph orch device ls

Да видны. он начинает их добавлять и встает

Попробуй отключить автодобавление и руками один диск добавить

Отключено автодобавление

Последняя запись в логах
2021-06-11 19:19:30,245 INFO /usr/bin/docker:     ],
2021-06-11 19:19:30,245 INFO /usr/bin/docker:     "86": [
2021-06-11 19:19:30,245 INFO /usr/bin/docker:         {
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             "devices": [
2021-06-11 19:19:30,245 INFO /usr/bin/docker:                 "/dev/sdq"
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             ],
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             "lv_name": "osd-block-f3754e0a-e37f-4127-a5ab-8dab79906b92",
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             "lv_path": "/dev/ceph-f2188521-f4ec-4ae1-9a61-10b94a62b2fa/osd-block-f3754e0a-e37f-4127-a5ab-8dab79906b92",
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             "lv_size": "12000134430720",
2021-06-11 19:19:30,245 INFO /usr/bin/docker:             "lv_tags": "ceph.block_device=/dev/ceph-f2188521-f4ec-4ae1-9a61-10b94a62b2fa/osd-block-f3754e0a-e37f-4127-a5ab-8dab79906b92,ceph.block_uuid=nKJOPf-jHsI-yM97-VBpW-xw84-03Mh-hem8RQ,ceph.cephx_lockbox_secret=,ceph.cluster_fsid=9b7dff72-cabc-11eb-9c68-4fc99de9aaeb,ceph.cluster_name=ceph,ceph.crush_device_class=None,ceph.encrypted=0,ceph.osd_fsid=f3754e0a-e37f-4127-a5ab-8dab79906b92,ceph.osd_id=86,ceph.osdspec_affinity=dashboard-admin-1623426200543,ceph.type=block,ceph.vdo=0",

ceph mgr module disable cephadm дает тот же результат

Это лог из
ceph log last cephadm ?

От сюда /var/log/ceph/cephadm.log

Есть подозрение,что это происходит после добавления больше 24 дисков

Попробуй один рукам добавить и посмотреть что в ceph log last cephadm

mgr.st01.zhlpmb (mgr.65097) 618 : cephadm [INF] Applying service osd.None on host st01...

И появился osd в кластере ?

Нет, просто виснет и все
root@st01:~# ceph orch daemon add osd st01:/dev/sda

Значит дело не в количестве одновременно добавляемых дисков . А что-то в /var/lib/ceph/$fsid/osd есть ?

Папки osd нет

Вот эти сервисы пытаются поднять диски и зависают
osd.dashboard-admin-1623426200543             0/1  <deleting>  74m  st01      
osd.dashboard-admin-1623426836935             0/1  <deleting>  63m  st02
Как их удалить не знаю

Ручное добавление тоже вешается
Created osd(s) 0,1,10,11,12,13,14,15,16,17,18,19,2,20,21,22,23,24,25,3,4,5,6,7,8,9 on host 'st01'