Сделал фековый хост с тем же именем и ip, добавил без служб перегрузил mgr и удалил, теперь ceph mgr module disable cephadm
убирает ошибку но когда включаешь он опять пытается найти st01

А попробуй сделать mon unmanaged , чтобы он автоматом не пытался их селить.
ceph orch apply mon --unmanaged

Вроде автоматом у меня не пихает
ceph orch apply mon --unmanaged
Error ENOENT: Module not found

А покажи
ceph orch ls

Надо было включить модуль cephadm тогда команда ceph orch apply mon --unmanaged проходит.

ceph orch ls
Error EINVAL: Traceback (most recent call last):
 File "/usr/share/ceph/mgr/mgr_module.py", line 1177, in _handle_command
   return self.handle_command(inbuf, cmd)
 File "/usr/share/ceph/mgr/orchestrator/_interface.py", line 140, in handle_command
   return dispatch[cmd['prefix']].call(self, cmd, inbuf)
 File "/usr/share/ceph/mgr/mgr_module.py", line 318, in call
   return self.func(mgr, **kwargs)
 File "/usr/share/ceph/mgr/orchestrator/_interface.py", line 102, in <lambda>
   wrapper_copy = lambda *l_args, **l_kwargs: wrapper(*l_args, **l_kwargs)
 File "/usr/share/ceph/mgr/orchestrator/_interface.py", line 91, in wrapper
   return func(*args, **kwargs)
 File "/usr/share/ceph/mgr/orchestrator/module.py", line 503, in _list_services
   raise_if_exception(completion)
 File "/usr/share/ceph/mgr/orchestrator/_interface.py", line 642, in raise_if_exception
   raise e
AssertionError: cephadm

А сколько сейчас mgr и mon запущено ?

Вот так выводит ceph orch ls --service_name=mgr
Сейчас 2 mon и mgr

А до проблемы с модулем , ceph orch ls нормально отрабатывал ?

да

А что с этим не так? Мимохотел попробовать.

наличие python модуля cephadm на хосте(в докере) где mgr живёт проверяли?

А куда мог пропасть питон из контейнера

Парни, приветствую. Может кто помочь?  Я писал ранее что кластер затупил, оказывается на 2 из трех хостов резко взлете iowait до 25%. Диски в норме, процы в perfomance, на данный момент кластер показывает нагрузку не более 1к iops. Сеть тоже отдебажил - вроде без проблем. Контроллер - OK, SMART - OK

ну вот в исходнике module.py в _list_services completion = self.describe_service(service_type,
                                          service_name,
                                          refresh=refresh) возвращает exception, так как похоже что модуль cephadm отсутствует

Попробуй после этого ещё раз рестарт mgr и enable/disable модуль. Мне всё-таки кажется он сломался из-за того что оркестратор не смог поселить третий монитор ( это дефолтное поведение, если не делать unmanaged)

Хм,  может он просто задизейблен ...

тогда бы он вернул что-нибудь, а не родительский скрипт такую портянку выдал

Не помогло

Может из-за разных версиях на нодах
cephadm inspect-image
Using recent ceph image ceph/ceph@sha256:c820cef23fb93518d5b35683d6301bae36511e52e0f8cd1495fd58805b849383
{
   "ceph_version": "ceph version 16.2.3 (381b476cb3900f9a92eb95d03b4850b953cfd79a) pacific (stable)",
   "image_id": "cb6dd59f250fd9c6cbe57690aa0dd7aff2506958343218ab079de60b37495c6e",
   "repo_digest": "ceph/ceph@sha256:c820cef23fb93518d5b35683d6301bae36511e52e0f8cd1495fd58805b849383"
}

INFO:cephadm:Using recent ceph image ceph/ceph:v15.2.9
{
   "ceph_version": "ceph version 15.2.9 (357616cbf726abb779ca75a551e8d02568e15b17) octopus (stable)",
   "image_id": "dfc48307963697ff48acd9dd6fda4a7a24017b9d8124f86c2a542b0802fe77ba"
}