VO
а у меня тоже по статистике не сказать что что-то криминальное было
Size: a a a
2020 December 08
VO
но воткнули в другой свитч -- и все ушло
VO
грешим сейчас что в свиче буфера битые
ПС
понятно, спасибо.
А IOPS в один поток, может тоже из-за этого так мало?
А IOPS в один поток, может тоже из-за этого так мало?
A
понятно, спасибо.
А IOPS в один поток, может тоже из-за этого так мало?
А IOPS в один поток, может тоже из-за этого так мало?
Да
A
И слоу опс не должно быть
A
Это главный показатель
A
Смотри логи осд и dump slow ops
Am
я тут встал на крутую граблю - побило индексы у одного бакета при этом актинг сет остался всего на двух осд, отребалансится нормально оно не может (судя по всему потому что есть битый объект) пытается отрековерить обекты и не может осд нагружены по самое неболуй (нвме 20-100 мс) и вишенкой на торте если начать обращаться к бакету ргв улитают в цикличные 503 для всех
Am
а еще из интересного это уже второй бакет который распидарасило у этого клиента 😒
VO
а чего отрекаверить не может?
VO
на .15? или раньше?
Am
в промежутке между 11 и 15 )))
Am
ебануло когда ноду в кластер добавлял
Am
но это скорее всего стечение обстятельств
Am
так как пг лежала только на .11
Am
когда я засек проблему
ПС
нда. жопа какя-то.
ПС
чувствую добавится ебли, когда это пойдет в прод. ;)
ПС
Смотри логи осд и dump slow ops
в логах osd только такие время от времени вылезают..
"log [WRN] : slow request osd_op(client.234255.0:11868 4.3d 4:be54286e:::rbd_data.3202832b8dab8.0000000000000540:head [write 589824~4096 in=4096b] snapc 0=[] ondisk+write+known_if_redirected e1477) initiated 2020-12-08T18:03:57.304614+0300 currently waiting for sub ops"
"log [WRN] : slow request osd_op(client.234255.0:11868 4.3d 4:be54286e:::rbd_data.3202832b8dab8.0000000000000540:head [write 589824~4096 in=4096b] snapc 0=[] ondisk+write+known_if_redirected e1477) initiated 2020-12-08T18:03:57.304614+0300 currently waiting for sub ops"