Size: a a a

Сбор и аналитика системных сообщений

2020 October 15

GG

George Gaál in Сбор и аналитика системных сообщений
Рсислог ?
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
George Gaál
Рсислог ?
По вкусу :-)
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
George Gaál
Кх по умолчанию тоже жмёт, но сильно хуже - тебе придётся изобретать особый формат Таблицы, когда у тебя строки соответствуют отдельным таймстемпам, а столбцы - конкретным метрикам
специализированная колоночная база vs неспециализированная, ага
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Gleb Lesnikov
специализированная колоночная база vs неспециализированная, ага
Ну, модель данных решает 🤷‍♂️
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Постгрес тоже можно кривой схемой нагнуть. Как там успехи, кстати, у TimeScaleDB на базе пг?
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
ну так у тебя что в том, что в том случае ограничена кардинальность
источник

A

Alexander in Сбор и аналитика системных сообщений
Sergey Pechenkó
По вкусу :-)
Один-два рсислога по вкусу :)
источник

ST

Shuro Toko in Сбор и аналитика системных сообщений
George Gaál
Постгрес тоже можно кривой схемой нагнуть. Как там успехи, кстати, у TimeScaleDB на базе пг?
как как. лицензию поменяли.
источник

ST

Shuro Toko in Сбор и аналитика системных сообщений
чтоб амазон не стал ей как сервисом барыжить
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
George Gaál
Постгрес тоже можно кривой схемой нагнуть. Как там успехи, кстати, у TimeScaleDB на базе пг?
нормально
источник
2020 October 18

Д

Дмитрий in Сбор и аналитика системных сообщений
George Gaál
Постгрес тоже можно кривой схемой нагнуть. Как там успехи, кстати, у TimeScaleDB на базе пг?
У нас есть, вроде работает, хотя я бы выкинул её и перевёл сервис на TSDB, но это нужно переписывать их
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Кстати, как лучше организовать сбор логов из контенеров в EFK?
Сейчас rsyslog собирает логи драйвером syslog (переопределяется у нужных контейнеров) и кидает в центральный fluentd, который пихает в эластик.
Я думал переделать это, потому что мультилайн ломается, да и в целом кажется мне некрасивым решение.  Я думал про несколько вариантов: стандартный драйвер json-log и скармливать файлы из директорий контенеров fluentd/fluent-bit или использовать journald драйвер и кормить из него.
Что лучше рассмотреть или может допилить имеющуюся схему?
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Дмитрий
Кстати, как лучше организовать сбор логов из контенеров в EFK?
Сейчас rsyslog собирает логи драйвером syslog (переопределяется у нужных контейнеров) и кидает в центральный fluentd, который пихает в эластик.
Я думал переделать это, потому что мультилайн ломается, да и в целом кажется мне некрасивым решение.  Я думал про несколько вариантов: стандартный драйвер json-log и скармливать файлы из директорий контенеров fluentd/fluent-bit или использовать journald драйвер и кормить из него.
Что лучше рассмотреть или может допилить имеющуюся схему?
А где именно ломается multiline?
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Подозреваю, где-то в приложении, где разработчики пишут мультилайн, вообще ни о чём не задумываясь?
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
У нас астер с диалпланом на луа, много мультилайна в нём. Еще постгря, там вообще чуть ли на каждая строка запроса - это отдельная строка лога
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Дмитрий
У нас астер с диалпланом на луа, много мультилайна в нём. Еще постгря, там вообще чуть ли на каждая строка запроса - это отдельная строка лога
Легаси говно
источник

GG

George Gaál in Сбор и аналитика системных сообщений
И то, и то
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Я так понимаю, серить логами сразу в джисон не получится ?
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
Шо поделать, у продукта интеграция с астером
источник

Д

Дмитрий in Сбор и аналитика системных сообщений
George Gaál
Я так понимаю, серить логами сразу в джисон не получится ?
В смысле, чтобы сами приложухи жсон генерили, не драйвер докера?
источник