ВН
Вполне вероятно, что оно должно восстанавливаться проще, в "правильных условиях" но что-то было не так. Инфо с серверов собиралась, но то ли монмпатул не создавал монмап, то ли еще что, но кластер не могли запустить очень долго.
а, ясно
Size: a a a
2021 March 02
ВН
Ну да, в идеале до этого не доводить конечно
D
Ну да, в идеале до этого не доводить конечно
+1
2021 March 03
ПС
перезагружаю ноду ceph, когда она поднимается наблюдается фриз IO на 30 секунд,
при этом выставлены параметры:
Подскажите куда копать...
при этом выставлены параметры:
ceph osd set nooutМожно как-то этот фриз уменьшить, или может его вообще не должно быть..
ceph osd set nobackfill
ceph osd set norecover
ceph osd set norebalance
ceph osd set nodown
Подскажите куда копать...
А🐎
Так оно инициализацией осд занимается, +-10-30 секунд на все сразу..
ПС
Ну т.е это нормально, и не нужно хотеть другого?
ВН
PG-шки offline/peering наверное в этот момент
ВН
если это так, то да, особо ничего не сделаешь
А🐎
Ну т.е это нормально, и не нужно хотеть другого?
Ну ты можешь замерить через трейс сколько рестартится демон осд
А🐎
Нода 12 осд рестатит осд порядка 30 секнуд
А🐎
До подъема осд в in,up
ВН
Ну можно вырубить bluestore fsck on mount
IF
перезагружаю ноду ceph, когда она поднимается наблюдается фриз IO на 30 секунд,
при этом выставлены параметры:
Подскажите куда копать...
при этом выставлены параметры:
ceph osd set nooutМожно как-то этот фриз уменьшить, или может его вообще не должно быть..
ceph osd set nobackfill
ceph osd set norecover
ceph osd set norebalance
ceph osd set nodown
Подскажите куда копать...
noup
ПС
noup
потом по одному выводить их в up чтобы не тормозило?
А🐎
потом по одному выводить их в up чтобы не тормозило?
А что тормозит?
А🐎
Я чот не оч понимаю
ПС
идет запись на rbd - (fio в 1 поток. 4k-block, 1000iops, randomwrite) , перезагружаю ноду.
Первый фриз 15 секунд когда osd пропали но map еще не перестроился.
Далее iops вырастают немного 1050-1100iops.
Потом нода загружается, фриз IO на 30 секунд, и просадка по iops(5-100 iops) почти до нуля.
Потом iops медленно растут и выходят на нормальный уровень.
Пытаюсь с этим разобраться, как уменьшить фризы и тормоза при ресинке.
Первый фриз 15 секунд когда osd пропали но map еще не перестроился.
Далее iops вырастают немного 1050-1100iops.
Потом нода загружается, фриз IO на 30 секунд, и просадка по iops(5-100 iops) почти до нуля.
Потом iops медленно растут и выходят на нормальный уровень.
Пытаюсь с этим разобраться, как уменьшить фризы и тормоза при ресинке.
ПС
3 ноды, failure domain host., 3-way replicated
А🐎
Настройками и приоритетами восстановления
IF
потом по одному выводить их в up чтобы не тормозило?
попробуй так да.