ну так-то реально подстава да. Хотя бы где-то уведомление вывели. 3% от общих 50% ))

из
osd: 320 osds: 320 up (since 2d), 320 in (since 2d); 4183 remapped pgs
pgs:     1872634089/3724889610 objects misplaced (50.274%)
получил
osd: 320 osds: 320 up (since 2d), 320 in (since 2d); 4728 remapped pgs

pgs:     1872223587/3724899135 objects misplaced (50.262%)

если бы я это тогда заметил -- можно было бы не делать какую-то часть бессмысленной работы, да.

кстати, а скорость ребаланса увеличилась в итоге?

да, скаканула до 5.5к об/с

не ну бля, так точно можно нарваться на вечный ребаланс ))

Но у цефа это вообще больное место - если ребаланс остановить а потом продолжить скорость в два раза может вырасти

если еще и балансер заработает)). Надо будет эту тему расскурить ))

да, есть такое дело

Т.е. чем дольше ребаланс идет тем он медленней становится.

это есть да, по-этому приходится увеличивать max backfilling

кстати, находил с этой особенностью зависимость с mclock

но вот сижу и не могу вспомнить какую именно

типа когда начнет падать -- помониторить возникновение тротлинга?

Ребята, а я могу чекрез ceph config set обратиться ко всем осд ? вот так например: ceph config set osd.*

Просто set osd и так на все подействует

Действительно, спасибо!

всем привет.

Почитал тут переписку про увеличение/уменьшение pg и pgp..
Возникли вопросы.
1) по документации кол-во pg не зависит от размера диска(osd), а зависить от %заполнения  и кол-ва osd. -
К примеру, имеется пул с тройной репликацией на 18 osd размером 1TB (использование 100%) - по калькулятору получается 512 PG
И так же пул, на больших дисках , те же 18 osd размер только 10TB(использование 100%) - по калькулятору опять выходит 512 PG
ПРи этом размер PG будет в 10раз больше, соответственно ребаланс и репликация будет большими "кусками"..

Это нормально, я всё правильно понял?

2) Стоит-ли использовать pg autoscaler, который включается "по умолчанию" ?

Мне недавно автоскейлер загнал тестовый кластер в ридонли, насколько я понял он успел 3 раза заскейлить пг до завершения прошлого ремапинга и у меня получилось 512пг на 64пгп и 1 переполнена осд,  как мне кажется автоскейлер можно юзать только при маленькой нагрузке от клиентов (у меня это случилось при прогоне бенчмарков)