а перед этим:
ceph osd out osd.ХХХ
sudo systemctl stop ceph-osd@XXX
ceph osd purge XXX --yes-i-really-mean-it
sudo umount /var/lib/ceph/osd/ceph-XXX

Привет всем, кто нить подскажите какой  inventory фаил должен быть prod плейбука?

сколько mons, osds, mgrs, mdss, rgws?

эти параметры будут полностью зависить от вашей архитектуру, вестимо )

Понял

Спасиб

Всем привет, подскажите как настроить rados-ganesha-ceph?
https://jtlayton.wordpress.com/2018/12/10/deploying-an-active-active-nfs-cluster-over-cephfs/
делал по вот такому ману, и не взлетает постоянно статус у нод "E"

в сервис ганешы стартует, в логах есть варнинг на то что нет таблицы авторизаций керберос, и всё чисто гладко, но не работает, в режиме бакенда rados_claster не поднимается ganesha в логах

main :NFS STARTUP :CRIT :Recovery backend initialization failed!
30/04/2020 16:22:44 : epoch 5eaaa6f4 : cn0 : ganesha.nfsd-15468[main] main :NFS STARTUP :FATAL :Fatal errors.  Server exiting...

rados_ng rados_kv стартует без ошибок

NFS_CORE_PARAM {
       mount_path_pseudo = true;
       Protocols = 3,4;
       Enable_RQUOTA = false;
       Enable_NLM = false;
}

EXPORT_DEFAULTS {
       Access_Type = RW;
}

NFSv4 {
        RecoveryBackend = rados_cluster;
       Minor_Versions = 1,2;
}

EXPORT {
       Export_Id = 1;
       Path = /;
       Pseudo = /;
       Protocols = 4;
       Transports = TCP;
       Attr_Expiration_Time = 0;
       Access_Type = RW;
       Squash = root_squash;
       Sectype = sys;
       FSAL {
               Name = ceph;
               User_Id = "admin";
               Filesystem = "cephfs1";
               Secret_Access_Key = key;
      }
}

RADOS_KV {
 Ceph_Conf = /etc/ceph/ceph.conf;
       UserId = "admin";
       pool = "cephfs1_metadata";
       nodeid = cn0;
}
CEPH {
       Ceph_Conf = /etc/ceph/ceph.conf;
}
CACHEINODE {
 Dir_Chunk = 0;
       NParts = 1;
       Cache_Size = 1;
}

rados_cluster_init :CLIENT ID :EVENT :Cluster membership check failed: -2

в чем сокральный смысл?
Ceph_Conf = /etc/ceph/ceph.conf;
       UserId = "admin";
       pool = "cephfs1_metadata";
       nodeid = cn0;
}

rados-ganesha по id вроде как должен мониторить статус и приводить к отказоустойчивости

еще вопрос в чём разница между rados_ng\kv\cluster?

еще в какойто момент создался пул автоматически с именем nfs-ganesha  с ним явно какието проблемы

[root@cn1 ~]# ceph health detail
HEALTH_WARN application not enabled on 1 pool(s)
POOL_APP_NOT_ENABLED application not enabled on 1 pool(s)
   application not enabled on pool 'nfs-gabesha'
   use 'ceph osd pool application enable <pool-name> <app-name>', where <app-name> is 'cephfs', 'rbd', 'rgw', or freeform for custom applications.

всем привет, парни, подскажите, такие качели это нормально?

увеличил кол-во пг в пуле, цеф второй день ребалансится. как misplaced ratio опускается ниже 5% - накидывает еще 1-2% сверху и начинает все опять. картинка в статусе плюс-минус одинаковая все это время:

 data:
   pools:   9 pools, 337 pgs
   objects: 159.89M objects, 8.4 TiB
   usage:   28 TiB used, 26 TiB / 55 TiB avail
   pgs:     31091758/479666970 objects misplaced (6.482%)
            315 active+clean
            17  active+remapped+backfilling
            5   active+remapped+backfill_wait

похоже пг маловато

так как раз на большом пуле убрал автоскейл и руками поднял с 64 до 128, с тех пор и не может отребилдиться

а балансер автоматический да?