Телеграмм чат группы ceph

Size: a a a

Ceph — русскоговорящее сообщество

1705 membersпожаловаться на группу

2021 October 27

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

Так вроде нет отдельных крутилок. В обоих случаях все через ребаланс и его крутилки идет

источник

09:19пожаловаться #1

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

не знаю че там одинаково, но наливаются заново диски в разы медленнее чем чинится потеря реплик.

крутилки
osd_max_backfills (1)
osd_recovery_max_active (3)
osd_recovery_max_hdd (3)
osd_recovery_max_ssd (10)

источник

09:27пожаловаться #2

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

Рекавери к дипскрабу относится

источник

09:28пожаловаться #3

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

Т.е. из перечисленного только бакфил и он общий

источник

09:29пожаловаться #4

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

https://docs.ceph.com/en/latest/rados/configuration/osd-config-ref/#recovery

источник

09:31пожаловаться #5

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

https://docs.ceph.com/en/latest/rados/configuration/osd-config-ref/#backfilling

источник

09:31пожаловаться #6

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

я б не сказал что рекавери относится к дипскрабу

источник

09:32пожаловаться #7

Petr Antonov in Ceph — русскоговорящее сообщество

Да, признаю, перепутал рекавери с наливкой.

источник

09:32пожаловаться #8

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

Вот надо им называть одним словом разные операции... Но все равно это не выход из строя дисков - у тебя при этом сощдаются новые осд и просто идет бэкфил, а не доливка пропущенного, не?

источник

09:41пожаловаться #9

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

да, именно так. при етом действует крутилка max_backfills (1 по умолчанию), значит в единицу времени будет на один диск одна пг писаться. что например я вижу прям щас, када наливаются 12 дисков:

12 active+remapped+backfilling

источник

09:45пожаловаться #10

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

а када расползается после аута диска, то крутилка osd_recovery_max_hdd (если хдд), по умолчанию 3. причем пишется то не на один диска а на все, потому что расползается по всем. и там сильно быстрее получается

источник

09:47пожаловаться #11

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

хотя постойте. создание нового ето не возвращение из аута старого. там будет больше пг одновременно перемещаться. тут я протупил. но все равно это получается в разы медленнее чем рекавер.

источник

09:54пожаловаться #12

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

Ну тут мы немного про разное - я про случай диски вылетили на замену новые подключили.

источник

09:55пожаловаться #13

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

я не експерт но по моим воспоминаниям что удалить-добавить диск что просто добавить новый - разницы по скорости бакфила никакой.

источник

09:58пожаловаться #14

Damir Bikmukhametov in Ceph — русскоговорящее сообщество

а вот када просто удаляешь или он сам отъехал посреди ночи - тут все бросаем и начинаем дрочить весь кластер, стремясь быстрее восстановить число реплик

источник

10:04пожаловаться #15

John Roe in Ceph — русскоговорящее сообщество

Jones Evelyn: user has been CAS banned

источник

10:24пожаловаться #16

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество

ну типа разве что удалить - пг разъезжаются по всем дискам, а добавить - заливаются только на 1 диск

источник

13:40пожаловаться #17

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

кажется все же osd_recovery_max_active это не про количество бэкфилов а про число воркеров которые вычитывают имеющуюся на диске информацию и чекающую её. в основном из роксдб. такое у меня впечетление сложилось после беглого взгляда на исходники.
а бэкфилы один фиг будут регулироваться osd_max_backfills

источник

13:47пожаловаться #18

ВL

Виталий LightningX2... in Ceph — русскоговорящее сообщество

всем привет, а куда подключается команда ceph? что должно быть доступно, а то кластер подвис на всяких

e8 get_health_metrics reporting 1 slow ops,
 oldest is auth

ceph -s

говорит timeout ,

источник

14:38пожаловаться #19

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество

в обычном цефе к мониторам, по идее.

источник

14:40пожаловаться #20