Ребят, может кто идею даст, куда схд netapp efr560 all in flash продать можно?)) 6 дисков  по 800гигов

На авито

да там просмотров фиг да нифига ) тяжело такое наверное

Там всего 6 дисков? А чисто ради интереса - за сколько такое продают?)

Сами-то 6 дисков по 800 гигов это вроде ну тысяч 60 рублей

хз, покупалась за 1.3млн  в 2018 году

дисков напихать то еще можно

Кто знает как победить ошибку
Module 'cephadm' has failed: 'cephadm'

Попробуйте ceph mgr module disable cephadm
А потом enable

Пробовал, не помогает,если поставить оркестратор на паузу то ошибка пропадет

А что в логах
ceph log last cephadm ?

2021-05-26T06:24:26.266362+0000 mgr.st02.xhdksq (mgr.430673) 18422 : cephadm [ERR] Failed to apply mon spec ServiceSpec({'placement': PlacementSpec(hosts=[HostPlacementSpec(hostname='st00', network='', name=''), HostPlacementSpec(hostname='st01', network='', name=''), HostPlacementSpec(hostname='st02', network='', name='')]), 'service_type': 'mon', 'service_id': None, 'unmanaged': False, 'preview_only': False}): Cannot place <ServiceSpec for service_name=mon> on st01: Unknown hosts
Traceback (most recent call last):
 File "/usr/share/ceph/mgr/cephadm/serve.py", line 409, in _apply_all_services
   if self._apply_service(spec):
 File "/usr/share/ceph/mgr/cephadm/serve.py", line 481, in _apply_service
   hosts: List[HostPlacementSpec] = ha.place()
 File "/usr/share/ceph/mgr/cephadm/schedule.py", line 115, in place
   self.validate()
 File "/usr/share/ceph/mgr/cephadm/schedule.py", line 89, in validate
   f'Cannot place {self.spec.one_line_str()} on {", ".join(sorted(unknown_hosts))}: Unknown hosts')
orchestrator._interface.OrchestratorValidationError: Cannot place <ServiceSpec for service_name=mon> on st01: Unknown hosts
2021-05-26T06:24:26.274998+0000 mgr.st02.xhdksq (mgr.430673) 18423 : cephadm [INF] Applying drive group all-available-devices on host st00...
2021-05-26T06:24:26.276240+0000 mgr.st02.xhdksq (mgr.430673) 18424 : cephadm [INF] Applying drive group all-available-devices on host st02...
2021-05-26T06:24:53.708681+0000 mgr.st02.xhdksq (mgr.430673) 18438 : cephadm [INF] Removing orphan daemon cephadm.f77d9d71514a634758d4ad41ab6eef36d25386c99d8b365310ad41f9b74d5ce6...
2021-05-26T06:30:29.539368+0000 mgr.st02.xhdksq (mgr.430673) 18611 : cephadm [INF] Kicked serve() loop to refresh devices
2021-05-26T06:49:46.165717+0000 mgr.st02.xhdksq (mgr.430889) 16 : cephadm [INF] refreshing st02 facts
2021-05-26T06:49:51.343201+0000 mgr.st02.xhdksq (mgr.430889) 20 : cephadm [INF] refreshing st00 facts
2021-05-26T06:49:51.814229+0000 mgr.st02.xhdksq (mgr.430889) 21 : cephadm [ERR] Failed to apply mon spec ServiceSpec({'placement': PlacementSpec(hosts=[HostPlacementSpec(hostname='st00', network='', name=''), HostPlacementSpec(hostname='st01', network='', name=''), HostPlacementSpec(hostname='st02', network='', name='')]), 'service_type': 'mon', 'service_id': None, 'unmanaged': False, 'preview_only': False}): Cannot place <ServiceSpec for service_name=mon> on st01: Unknown hosts
Traceback (most recent call last):
 File "/usr/share/ceph/mgr/cephadm/serve.py", line 409, in _apply_all_services
   if self._apply_service(spec):
 File "/usr/share/ceph/mgr/cephadm/serve.py", line 481, in _apply_service
   hosts: List[HostPlacementSpec] = ha.place()
 File "/usr/share/ceph/mgr/cephadm/schedule.py", line 115, in place
   self.validate()
 File "/usr/share/ceph/mgr/cephadm/schedule.py", line 89, in validate
   f'Cannot place {self.spec.one_line_str()} on {", ".join(sorted(unknown_hosts))}: Unknown hosts')
orchestrator._interface.OrchestratorValidationError: Cannot place <ServiceSpec for service_name=mon> on st01: Unknown hosts
2021-05-26T06:49:51.823533+0000 mgr.st02.xhdksq (mgr.430889) 22 : cephadm [INF] Applying drive group all-available-devices on host st00...
2021-05-26T06:49:51.824310+0000 mgr.st02.xhdksq (mgr.430889) 23 : cephadm [INF] Applying drive group all-available-devices on host st02...

Проблема появилась когда сломалась одна нода,я ее выкинул, ее сейчас ремонтируют.Но появилась не сразу на вторые сутки

st01 сломанная почему он пытается к ней стучаться не понятно
orchestrator._interface.OrchestratorValidationError: Cannot place <ServiceSpec for service_name=mon> on st01: Unknown hosts

ceph orch host ls , там есть st01 ?

Нет, я остановил все сервисы и удалил ее

Попробуй ceph orch restart mgr сделать

Он ставит в шедулер но ничего не делает
Scheduled to restart mgr.st00.bmaczi on host 'st00'
Я пробовал через systemctl рестартовать тоже не помогло

Ну у меня идеи закончились, разве что обновить ))

Версия 15.2.9
health: HEALTH_ERR
           Module 'cephadm' has failed: 'cephadm'
Он наверно не даст обновить себя в таком состояние