да, можно

Это хорошо, а то чет я нервничать начал))

с ceph'ом ваще нервничать нельзя ))

Благодарю за помощь!!

Вышел ceph 16.2.5 (pacific)

Разработчики отметили:
* убрали пакет ceph-mgr-rook из зависимостей mgr в дебиан пакетах.
* несколько изменений в mgr/nfs
* пофиксили старый баг совместимости 32 и 64 битных систем на msgr v2.

и некоторые другие исправления.

Детали по ссылке в блоге

https://ceph.io/en/news/blog/2021/v16-2-5-pacific-released

#ceph #release #pacific

Добрый день. Нужна помощь с ceph+proxmox. 8 числа по сети выключили 4 ноды из 15. После этого посыпался кластер, на всех нодах закончилось место из-за логов. Сетку нодам вернули 9 числа в 11. Добавил место, запустил мониторы, постафил флаг ceph osd set pause.  Но до сих пор идёт "slow request osd_op".  Копятся файлы sst на двух активных мониторах /var/lib/ceph/mon/ceph-pve05/store.db/

Every 60.0s: ceph -s                                                                                                                                                                pve10: Sat Jul 10 11:35:23 2021

 cluster:
   id:     1dcecec6-60ab-46f2-a923-3453cd148171
   health: HEALTH_WARN
           pauserd,pausewr flag(s) set
           Long heartbeat ping times on back interface seen, longest is 2919.571 msec
           Long heartbeat ping times on front interface seen, longest is 2562.626 msec
           1289 slow ops, oldest one blocked for 51 sec, daemons [mon.pve05,mon.pve10] have slow ops.
           mons pve05,pve10 are using a lot of disk space
           1/3 mons down, quorum pve10,pve05

 services:
   mon: 3 daemons, quorum pve10,pve05 (age 85s), out of quorum: pve15
   mgr: pve05(active, since 60s), standbys: pve10
   osd: 105 osds: 105 up (since 68s), 105 in (since 22h)
        flags pauserd,pausewr

 data:
   pools:   2 pools, 2048 pgs
   objects: 10.22M objects, 39 TiB
   usage:   70 TiB used, 34 TiB / 105 TiB avail
   pgs:     2046 active+clean
            2    active+clean+scrubbing+deep

Чини дальше сеть, смотри mtu

это именно с сетью?

И посмотри логи у мон лидера

Да тут похоже все распердолило

2021-07-09 12:45:13.819658 osd.103 [WRN] slow request osd_op(client.528696270.0:3009 3.3fa 3.a6c047fa (undecoded) ondisk+retry+write+known_if_redirected e6467) initiated 2021-07-09 02:01:33.814061 currently queued for pg
2021-07-09 12:45:13.819661 osd.103 [WRN] slow request osd_op(client.408919663.0:84560586 3.3bd 3.194363bd (undecoded) ondisk+retry+write+known_if_redirected e6467) initiated 2021-07-09 02:03:49.372883 currently queued for pg
2021-07-09 12:45:13.819664 osd.103 [WRN] slow request osd_op(client.528696270.0:3014 3.3fa 3.a6c047fa (undecoded) ondisk+retry+write+known_if_redirected e6467) initiated 2021-07-09 02:31:33.825062 currently queued for pg
2021-07-09 12:45:13.819667 osd.103 [WRN] slow request osd_op(client.528696270.0:3009 3.3fa 3.a6c047fa (undecoded) ondisk+retry+write+known_if_redirected e6467) initiated 2021-07-09 02:46:33.832317 currently queued for pg

идёт такой процесс и время на osd идёт вперёд, нет смысла дождаться окончания процесса этого?

Ceph health details

Пока кластер не станет живым, место на мониторах будет расти

root@pve10:/var/log/ceph# ceph health details
details not valid:  details not in detail
Invalid command: unused arguments: [u'details']
health {detail} :  show cluster health
Error EINVAL: invalid command

что это за sst файлы, какую функцию выполняют?

БД это. Пилять

Sorted String Table

😊