Size: a a a

Ceph — русскоговорящее сообщество

2021 October 11

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Еще раз. У вас контроллер домена, с которого берется время для CEPH на отдельном физическом сервере?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
есть и виртуальные ДК, в другой системе виртуализации, есть и отдельные железные ДК
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Ок. Снимаем с ручника.
Какой адрес на CEPH прописан в качестве источника времени?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
# Welcome to the chrony configuration file. See chrony.conf(5) for more
# information about usuable directives.
# pool 2.debian.pool.ntp.org iburst
pool ххх.ххх.5.1 iburst
pool ххх.ххх.5.2 iburst
Это два домен контроллера, на виртуалках.
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Они бакапятся ? Ну там сами или внешними системами?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
Да, но не в 6 утра, моменты с бэкапами я уже проверял - не пересекается.
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
А графиков загрузки сети нет?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
есть, какие именно? на портах коммутатора или на портах серверов? но там аномалий я тоже не увидел.
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
В 6 утра по субботам ломается коннект к мониторам CEPH. Ну и поскольку без них CEPH как машина без руля - все встает колом.
И причину искать надо вокруг этого. Это может быть сеть.
6 утра и суббота намекает все ж на бакап или какой-то процесс, который ложит сеть или дисковую систему. Это самое распространенное время для создания резервных копий.
Может синхронизация данных массовая идет.

Диски локальные? Или на внешней СХД?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
вот этот трындец после обеда - это когда начали падать osd
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Такой большой трафик могли создать сами виртуалки. А поскольку они в одном сегменте с CEPH, как говорит на президент "Видали как скакнула? Извольте бриться!"
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
Вот да, такая периодичность намекает что чтото происходит. я проверил все крон-джобы - ничего. проверил все бэкапы - ничего. проверил трафик в приватной и публичной сети - ничего. единственно не проверял межсетевой экран, надо подергать админов.
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Между мониторами стоит МЭ?
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
виртуалки на другом транке живут
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
между ними нет, а вот наружу да, к ДК например.
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Ну а транк виртуалок зажат по скорости?  Ну там... "Не более 8-9 Гиг"
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
нет, там lacp из двух 10G
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Судя по логам в 6 утра ломается коннект между мониторами.
источник

АГ

Алексей Гудков... in Ceph — русскоговорящее сообщество
ага...
источник

AN

Andrey Nemysskiy in Ceph — русскоговорящее сообщество
Это ни о чем. LACP делает только агрегацию. И все. И даже если она есть, то при криво настроенным LACP трафик может уходить в один физический линк и почти никогда в другой. Поэтому при "кажущихся, дык у меня ж 20 Г", в реальности у вас "10Г в режиме актив-пассив". А современные сервера 10Г укладывают на раз. Поэтому и спрашиваю, не ограничивали ли скорость на VLAN-е для виртуалок, ибо это крайне желательно делать.
источник