Size: a a a

Ceph — русскоговорящее сообщество

2021 March 16

DP

Dmitry Polyakov in Ceph — русскоговорящее сообщество
Павел Савин
Спасибо.
А op write/read latency - это чисто запись на диск?
это лейтенси запросов, пришедших от клиента в цеф (полностью запись в цеф и полностью прочитка с цефа) с точки зрения осд, если хочешь смотреть лейтенси записи непосредственно на диск - тут тебе поможет subops latency - сколько, с точки зрения осд, выполнялась пришедшая на нее сабоперация
источник

ПС

Павел Савин... in Ceph — русскоговорящее сообщество
ясно, спасибо
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Alex
Если тупит цеф, к бабке не ходи — сеть
Я встретил такую штуку.
Начинает тормозить кластер, почему не понятно...
ПРоверил сеть, работает норм

Начал исследовать вопрос и вот что получилось

1. Рестартнулась сеть
2. Осд начали ребалансить
3. часть пг повисла на андерсайз

В итоге выяснил, что осд начали тупить и перестали общатсья по сети.. Как непонятно, кластер в варне.. но крит ошибок нет.

Рестарт осд исправляет ситуацию..
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Влад Григорьев
Получилось, кластерная сеть была почти в коме, хотя связность была и пакеты бегали, iperf показывал до 10ГБит. Однако запись в пул стремилась к нулю. Короче вопрос скорее в телеграм канал по инфинибенду, чем по цефу)
вово, у меня такое же было, когда свич иб рестартился
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Artemy Kapitula
Ну вот если бы посмотрел стату пр окоторую я тебе написал - то увидел бы долгие waiting for rw locks, долгие ожидания коммитов от дочерних OSD и одновременно быстрые коммиты самих слейвов, что в 99% случаев означает проблему в сети
Только вот решение это рестарт осд
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Александр 🐎
Только вот решение это рестарт осд
"выключить-включить пробовали?" (c)
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Виталий На Заборе
"выключить-включить пробовали?" (c)
Сеть?
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Повторый ребут сети не помогал
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
это из сериала какого-то про комп
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Делал проблему только хуже
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
типа эникеи так отвечали на вопросы юзеров
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
вот с осд так же))
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Я хз как с этим бороться автоматизированно
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Смотрю просто какие пг подвисли и делаю рестарт осд
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Это быстрее
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
у меня было на 15-м что-то подобное - щас вроде прошло
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
но там хуже было
источник

А🐎

Александр 🐎... in Ceph — русскоговорящее сообщество
Ну у меня 14.2.16 вродь
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
там типа на некоторых osd повисали просто в пространстве операции i/o и весь кластер вставал колом
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
даже метрики не отдавались
источник