Size: a a a

Сбор и аналитика системных сообщений

2020 October 18

GG

George Gaál in Сбор и аналитика системных сообщений
Дмитрий
Лучше пусть будет, чем её не будет) через неё удобно посмотреть на single-shot контейнеры, мне логи разовых тасок с хостов незачем в эластике держать
Разовые таски логично в systemd-run запускать, не ?
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
George Gaál
Разовые таски логично в systemd-run запускать, не ?
Можно и так, но там задача по конвертации файлов с ffmpeg, он у меня в контейнере, чтобы его на хост не ставить
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Но это не по теме уже, по-моему, это тоже будет переделываться, чтобы и такое делать не надо было
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Jrottenberg образ?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Не на альпине, надеюсь?
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Не, там Пайтон образ с пакетом ffmpeg и через apt поставлен сам ffmpeg, скрипт бегает по директории и конвертит файлы
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Неоптимально, но работает, и хост не аффектит
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Удалил оффтопик.
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
В общем, json-file и натравить rsyslog на них и слать в эластик с них напрямую. Либо тоже самое, но драйвер journald и rsyslog натравить уже на него. Имеет смысл рассмотреть fluent-bit, fluentd, что-либо еще вместо сислога? Потестить не проблема, но есть ли в этом смысл?
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Файл + мультилайн = боль и унижение.
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Ну так там же каждое сообщение = json запись, её же проще парсить, разве нет? Хотя, я туда не заглядывал у астера, посмотрю сам на рабочей неделе
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Понятия не имею - не пользуюсь.
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Есть RFC5424, Java в него умеет просто чудесно - даже эксепшны в structured data складывает.
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Дмитрий
Ну так там же каждое сообщение = json запись, её же проще парсить, разве нет? Хотя, я туда не заглядывал у астера, посмотрю сам на рабочей неделе
Где?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
В Json-file докера ?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Оно Json, конечно, но мультилайн все равно залетит как несколько записей. А ты потом чокнешься msg поле склеивать
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Кругом одна боль и страдания, как обычно
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Попробую тогда астер логировать мимо драйвера докера напрямую в хостовый rsyslog, а выхлоп stdout пусть валит куда хочет
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
В таком виде и docker logs целый, и мультилайн, надеюсь, будет нормально сислогом обрабатываться, хоть это и неточно
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
George Gaál
Оно Json, конечно, но мультилайн все равно залетит как несколько записей. А ты потом чокнешься msg поле склеивать
Потому что контекст (= неявное состояние, "....эта запись ещё не последняя...") выглядит отлично только при показе на экране, во всех остальных случаях являясь полным говном.
источник