Size: a a a

Сбор и аналитика системных сообщений

2020 November 02

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Sergei F.
а можешь привести пример? а то я добавляю так:

[transforms.add_host]
 type = "add_fields"

 [transforms.add_host.fields]
   host = "${HOSTNAME}"
   environment = "${ENV:-development}" # default value when not present


и получаю:

ERROR vector: Configuration error: "/etc/vector/vector.toml": missing field inputs for key transforms.add_host
Так блока inputs нет, откуда оно будет данные брать?
источник
2020 November 04

J

John Roe in Сбор и аналитика системных сообщений
JACOB: user has been CAS banned
источник
2020 November 06

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Довольно о грязи.
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
В другие чаты с этим, пожалуйста.
источник
2020 November 09

АМ

Алексей Мухин... in Сбор и аналитика системных сообщений
Всем привет.
Кто нибудь юзал такое решение - HUMIO ?
https://www.humio.com/
Есть ли есть тут кто его когда-то разворачивал, тестировал, или в данный момент занимается им.
Если не трудно, можете поделится мнением по работе с этим решением.  Как оно с точки зрения LM, построения аналитики, построения бордов , аллертинга.
Можно ли его сравнить с такими решениями как ELK и Splunk с точки зрения гибкости и эффективности работы ?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Впервые слышу
источник
2020 November 10

D

Dmitry in Сбор и аналитика системных сообщений
Привет! Подскажите, плиз, это окей, что в Graylog сообщения системного вывода из контейнера Docker записываются каждая строка отдельным сообщением? Можно ли это быстро исправить? Я в этом плохо разбираюсь, девопс из команды говорит, что решения нет и нужно переписывать логирование в проекте, подключать библиотеку и писать через неё
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Увы и ах - решения, которое сделает конфетку из говна, нет и не будет по одной простой причине: только автор приложения знает, скольки строкам в stdout соответствует одно событие внутри приложения. Поэтому именно его работа - научить приложение писать логи нормально (хоть в stdout, хоть в сеть сразу).
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Sergey Pechenkó
Увы и ах - решения, которое сделает конфетку из говна, нет и не будет по одной простой причине: только автор приложения знает, скольки строкам в stdout соответствует одно событие внутри приложения. Поэтому именно его работа - научить приложение писать логи нормально (хоть в stdout, хоть в сеть сразу).
да там все просто, сейчас все запускают под  всякие angular/nuxt/node server side rendering и оно срет пачкой построчно... и такое повезде
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Dmitry
Привет! Подскажите, плиз, это окей, что в Graylog сообщения системного вывода из контейнера Docker записываются каждая строка отдельным сообщением? Можно ли это быстро исправить? Я в этом плохо разбираюсь, девопс из команды говорит, что решения нет и нужно переписывать логирование в проекте, подключать библиотеку и писать через неё
верно советуют
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Terry Filch
да там все просто, сейчас все запускают под  всякие angular/nuxt/node server side rendering и оно срет пачкой построчно... и такое повезде
Не "оно", а "код, написанный разработчиками" - ну так, уточняю, чтобы была понятна зона ответственности.
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Sergey Pechenkó
Не "оно", а "код, написанный разработчиками" - ну так, уточняю, чтобы была понятна зона ответственности.
не не не, я имел ввиду, что ничего изкоробки не пишут, там stdout лог выдает дефолт сообщения логов, и их же и пытаются собирать

PS: я же недавно тоже ставил graylog, и тоже на эти грабли наступал. Но т.к. господам некогда тратить время сейчас на логирование нормальное, я решил подождать когда они соберуться это написать, а так выдал права на смотреть stdout
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
тип - не хотите по хорошему, страдайте сами ;)
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Dmitry
Привет! Подскажите, плиз, это окей, что в Graylog сообщения системного вывода из контейнера Docker записываются каждая строка отдельным сообщением? Можно ли это быстро исправить? Я в этом плохо разбираюсь, девопс из команды говорит, что решения нет и нужно переписывать логирование в проекте, подключать библиотеку и писать через неё
Ставьте файлбит, настраивайте многострочность с разделителем и будем вам щастье.
Keywords filebeat multiline separator вроде так)
источник

A

Alexander in Сбор и аналитика системных сообщений
Dmitry
Привет! Подскажите, плиз, это окей, что в Graylog сообщения системного вывода из контейнера Docker записываются каждая строка отдельным сообщением? Можно ли это быстро исправить? Я в этом плохо разбираюсь, девопс из команды говорит, что решения нет и нужно переписывать логирование в проекте, подключать библиотеку и писать через неё
Так пишет логи сам докер. Да и нельзя по другому, если они идут просто сплошным потоком данных через stdout (единственной универсальной границей между лог-записями оказывается перенос строки).
Либо пишите из приложения по какому-либо протоколу, который позволяет разработчику разделять границы отдельных записей, либо ставьте промежуточный агрегатор, который будет по вторичным признаакам склеивать лог записи (например, объединяя в одну запись все, что между двумя таймстемпами в выбранном формате).
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Alexander
Так пишет логи сам докер. Да и нельзя по другому, если они идут просто сплошным потоком данных через stdout (единственной универсальной границей между лог-записями оказывается перенос строки).
Либо пишите из приложения по какому-либо протоколу, который позволяет разработчику разделять границы отдельных записей, либо ставьте промежуточный агрегатор, который будет по вторичным признаакам склеивать лог записи (например, объединяя в одну запись все, что между двумя таймстемпами в выбранном формате).
ну там мега дебаг логи ноды это что-то с чем-то, если ты понимаешь о чем я ;)
источник

A

Alexander in Сбор и аналитика системных сообщений
Terry Filch
ну там мега дебаг логи ноды это что-то с чем-то, если ты понимаешь о чем я ;)
К счастью, не понимаю :)
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Alexander
К счастью, не понимаю :)
👍
источник

D

Dmitry in Сбор и аналитика системных сообщений
Понял, всем спасибо
источник

MK

Max Krylov in Сбор и аналитика системных сообщений
Terry Filch
ну там мега дебаг логи ноды это что-то с чем-то, если ты понимаешь о чем я ;)
на одном из проектов докер в котором жила нода, писал в gelf в greylog и вроде даже само парсилось без настройки мультилайна
источник