DM
@Frod0x https://github.com/braedon/prometheus-es-exporter - можно просто OOM из логов вытащить.
По поводу метрик - container_memory_failcnt - косвенно указывает на него
По поводу метрик - container_memory_failcnt - косвенно указывает на него
Size: a a a
2019 March 25
DM
если у вас не пром - идея в целом такая же для написания своей пепяки)
AA
@Frod0x https://github.com/braedon/prometheus-es-exporter - можно просто OOM из логов вытащить.
По поводу метрик - container_memory_failcnt - косвенно указывает на него
По поводу метрик - container_memory_failcnt - косвенно указывает на него
оом, гад, не всегда в логах появлялся в моей практике. хотя, не исключено, что я тупое чмо и что-то делал не такъ
V
Пром. но на логи завязываться очень не хочется. es-то нет) ну и короче хочется чисто метрики.
разрабам хочется надёжно мониторить утечки памяти(уперлись в лимит и из-за этого рестарт)
разрабам хочется надёжно мониторить утечки памяти(уперлись в лимит и из-за этого рестарт)
DN
@Frod0x https://github.com/braedon/prometheus-es-exporter - можно просто OOM из логов вытащить.
По поводу метрик - container_memory_failcnt - косвенно указывает на него
По поводу метрик - container_memory_failcnt - косвенно указывает на него
для оома есть dmesg_exporter
DN
Пром. но на логи завязываться очень не хочется. es-то нет) ну и короче хочется чисто метрики.
разрабам хочется надёжно мониторить утечки памяти(уперлись в лимит и из-за этого рестарт)
разрабам хочется надёжно мониторить утечки памяти(уперлись в лимит и из-за этого рестарт)
я бы мониторил профиль расхода памяти
DM
лимиты кстати, есть как метрики в проме
DN
достаточно мониторить паттерны типа резко стало меньше
DM
т.е. можно сказать - резко стало меньше + уперлись в лимит
DN
т.е. можно сказать - резко стало меньше + уперлись в лимит
ну, скорее всего приходил оом
DN
или гц )
V
достаточно мониторить паттерны типа резко стало меньше
а что такое "резко меньше/больше" ? может это просто пользователи пришли и это ок.
вы пробовали? тот ещё гемор) и пока в лимит не упёрлись , по сути, похрену
вы пробовали? тот ещё гемор) и пока в лимит не упёрлись , по сути, похрену
DN
а что такое "резко меньше/больше" ? может это просто пользователи пришли и это ок.
вы пробовали? тот ещё гемор) и пока в лимит не упёрлись , по сути, похрену
вы пробовали? тот ещё гемор) и пока в лимит не упёрлись , по сути, похрену
ну у тебя есть же количество памяти на ноде?
DN
самое простое, что я бы сделал - впилил аптайм в приложение
DM
Виталя явно хочет уменьшить кол-во false positives меньшими затратами)
DN
просто таймер тикает, сбросился - значит был рестарт
DM
если у тебя деплой 5 раз в день - аптайм - такое себе)
AA
Виталя явно хочет уменьшить кол-во false positives меньшими затратами)
мне кажется, это справедливая хотелка :)
DM
Поэтому и говорю - у cadvisor есть метрики лимитов, также есть container_memory_failcnt. Используя суммарную метрику, явно флапать будет меньше (хотя есть шанс пропустить событие, что в целом не критично)
DN
если у тебя деплой 5 раз в день - аптайм - такое себе)
если у тебя деплой пять раз в день, то скорее всего у тебя есть silence в мониторинге на время деплоя