ОС везде одинаковые? репозитории? методы установки в точности совпадают?

ос одинаковые, все что связано с цефом ставил через деплой

на том тазу где деплой - люминоус. ему скажи release mimic принудительно - нихрена не поставит. Пришлось идти туда где мимик уже стоит, ставить там ceph-deploy и оттуда накатывать с --release mimic на старые ноды

c репозиториями скорее всего что-то... но как сказал Артемий, дело скорее всего не в разницах в версиях
сейчас кластер как себя чувствует?

в общем и в целом - спасибо добрые люди. это был весьма нетрадиционный гхм.. досуг.

добро пожаловать в мир цепха :)

да у меня оно более-менее работало с сентября 19го, причем переживало падение 2х нод одновременно, а тут вот... захотел как лучше...

сейчас оно тоже не счастливо уж совсем вдребезги

cluster:
   id:     207605f5-38e4-4866-8c32-339ab227a0d1
   health: HEALTH_ERR
           206920/1919901 objects misplaced (10.778%)
           Degraded data redundancy: 31678/1919901 objects degraded (1.650%), 12 pgs degraded, 13 pgs undersized
           Degraded data redundancy (low space): 4 pgs backfill_toofull

 services:
   mon: 3 daemons, quorum c5,c1,c3
   mgr: c3(active), standbys: c5, c4, c2, c1, c6
   mds: onefs-1/1/1 up  {0=c4=up:active}, 4 up:standby
   osd: 25 osds: 22 up, 21 in; 118 remapped pgs

 data:
   pools:   5 pools, 1024 pgs
   objects: 640.0 k objects, 1.8 TiB
   usage:   5.8 TiB used, 29 TiB / 35 TiB avail
   pgs:     31678/1919901 objects degraded (1.650%)
            206920/1919901 objects misplaced (10.778%)
            906 active+clean
            101 active+remapped+backfill_wait
            10  active+undersized+degraded+remapped+backfill_wait
            3   active+remapped+backfill_wait+backfill_toofull
            1   active+undersized+degraded+remapped+backfill_wait+backfill_toofull
            1   active+undersized+degraded+remapped+backfilling
            1   active+undersized+remapped+backfill_wait
            1   active+remapped+backfilling

главное... осторожнее с цепхом то) то до сегодняшнего дня, он у тебя не только разных версий, но и жопой в мир светил)

но это я подозреваю из-за увеличения пул сайз на проде где уже насыпано всякого разного на 5.8тб

ну вот и бью челом добрым людям - уже не светит, и версии одни и те же. Перебалансируется, я ему ещё пару ссд подкину, и повыкидываю старые диски

5.8тб? у некоторых тестовые кластеры больше) для ceph это мало, у некоторых в домашних кластерах больше информации)
но в любом случае, прод и эксперименты...

а кому сейчас легко? поднятие пул сайз с 2 до 3х, это внезапное осознание, что все мы смертны а диски кое-где одной серии...

https://github.com/ceph/ceph/releases/tag/v15.2.0 :)

рецепт "досуга"-  поменять диски на одной ноде, параллельно увеличить минсайз, проапгрейдить часть нод кластера на следующую версию.

Ничего не забыл?))

а да, сетка гигабитная

В итоге как сейчас обстановка?

Круто!!! Ждем пару тройку миноров