(MDS/RGW) -> OSD -> MON

бывало у меня такое в практике. Но повторять не хочется)

благодарю!

расскажи потом как все прошло

OSD потом по очереди надо будет включать? то есть предваритьно нужно задизаблить systemd юниты чтобы они все сразу не поднялись?

после внезапного отключения я включал всё и сразу. Памяти хватило, но не факт, что хватит в каждом конкретном случае

а сколько ее, 1G на 1T?

соблюдаецца?

с избытком

братцы подскажите как проверить работу nfs статус у nfs-ganesha active(running)
конфиг выглядит так

NFS_CORE_PARAM
{
Enable_NLM = false;
Enable_RQUoTA = false;
Protocols = 4;
}

NFSv4
{
RecoveryBackend = rados_ng;
Minor_Version = 1,2;
}

CACHEINODE
{
Dir_Chunk = 0;
NParts = 1;
Cache_Size = 1;
}

EXPORT
{
Export_Id = 1;
Protocols = 4;
Path = /ceph/;
Pseudo = /ceph/;
Access_Type = RW;
FSAL {
       Name = CEPH
       User_Id = "admin";
    }
}
CEPH
{
Ceph_Conf = /etc/ceph/ceph.conf;
}

RADOS_KV
{
Ceph_Conf = /etc/ceph/ceph.conf;
UserId = "admin"
pool = "nfs"
nodeid = "cn4"
}

логи сигналят что всё гуд

23/04/2020 13:47:44 : epoch 5ea1481f : cn0 : ganesha.nfsd-17536[main] nfs_start :NFS STARTUP :EVENT :-------------------------------------------------
23/04/2020 13:47:44 : epoch 5ea1481f : cn0 : ganesha.nfsd-17536[main] nfs_start :NFS STARTUP :EVENT :             NFS SERVER INITIALIZED
23/04/2020 13:47:44 : epoch 5ea1481f : cn0 : ganesha.nfsd-17536[main] nfs_start :NFS STARTUP :EVENT :-------------------------------------------------

На самом деле если у тебя правила по памяти и количеству PG соблюдается и не используется EC - можешь не дергаться, всё будет нормально

мой кластер остался на прошлой работе, я совершенно спокоен :D

Не думал что дойду до такого, но починил. Экспортнул залипшие pg с одной ноды, и перенёс на другую, на osd из acting пула для этой pg.

ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-8/ --pgid 21.9 --op export --file 21.9.export

ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-9/ --pgid 21.9 --op remove --force
ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-9/ --pgid 21.9 --op import --file /mnt/cephfs/21.9.export

у кого-то была ишшуя с ceph prometheus module встроенным в сеф что он кушал весь доступный цпу на кластере со 120 осд?

вышел cpeh 13.2.10 c исправлением баз в radosgw

https://ceph.io/releases/v13-2-10-mimic-released

#ceph #mimic #release

Чот у этих сисадминсов там стабильно в каждом сообщении очепятки

пора спать )

Ты вроде производительностью хуавйного фулфлеша интересовался?

Ну, да, чисто интереса ради

притащили на потестить, кидай профиль фио погоняю на днях