k
Аномалий по сети и дисковой подсистеме нету
Size: a a a
2021 August 05
AZ
Компьютер ничего не делал, а потом какой-то процесс как сделал
AT
какой пейлоад у ноды-то?
AT
inb4 голая убунта, а на скриншоте запуск
unattended-upgradesk
Чуваки частично рубанули питание в ДЦ и часть нод начала в OOM выпадать, почему непонятно.
Первый раз такое вижу.
Первый раз такое вижу.
k
Обычно виноват какой-нибудь iowait или сбои в сети, сейчас же вообще ничего
GM
у вас цефянка
AT
1. Что на нодах? Приложения, нжинкс, постгресы, прометеус, виктория, инфлакс, чёрт лысый?
2. Виртуалки? Vmware, kvm, ксен, что там ещё нынче
3. Вам скорее в любой другой чат по администрированию линуксов в целом
2. Виртуалки? Vmware, kvm, ксен, что там ещё нынче
3. Вам скорее в любой другой чат по администрированию линуксов в целом
A
цеф или чето подобное есть? Рубанули часть нод, началось восстанвовление
AZ
Какая-то связь очень неявная, часть серверов погасла, а другая часть начала жрать проц и память? А что за софт-то там?
GM
похоже на попытку сделать гиперконвернгенцию на цефе 🙂
TF
часть нод, это случаем не связано с кластерами этих нод?
k
Апач и похапе в кубе крутятся, сторадж отдельный по iscsi подключён, судя по логам сторадж не отваливался
k
Хм, похоже проблема была всё же с подключением.
Часть процессов не смогла достучаться до бд и в итоге начали валиться в OOM
Часть процессов не смогла достучаться до бд и в итоге начали валиться в OOM
k
занятно, пойду искать оригинальную проблему, всем спасибо :)
AZ
Такое косвенно по графикам tcp-сессий можно увидеть, скорее всего
k
бинго!
AZ
А по количеству сессий будет провал, вероятно
AZ
у нод экспортера node_netstat_Tcp_CurrEstab, есть ещё полезная тема node_netstat_Tcp_ActiveOpens и node_netstat_Tcp_PassiveOpens — на них видно флап сессий