GG
Попробую тогда астер логировать мимо драйвера докера напрямую в хостовый rsyslog, а выхлоп stdout пусть валит куда хочет
И чем тебе это поможет ? Напишешь правила сборки мультилайна в рсилоге?
Size: a a a
2020 October 18
GG
Потому что контекст (= неявное состояние, "....эта запись ещё не последняя...") выглядит отлично только при показе на экране, во всех остальных случаях являясь полным говном.
+
SP
И чем тебе это поможет ? Напишешь правила сборки мультилайна в рсилоге?
Там искаробочный драйвер сислога же.
GG
Не совсем догоняю
GG
Сислог - текстовый протокол, не ?
SP
Да.
Конец записи = "\n".
Конец записи = "\n".
GG
Или ты хочешь сказать, что Астер умный и будет в нужные места впихивать «эй, сислог, я ещё не закончил слать сообщение, считай следующий пакет продолжением старого»?
SP
Соответственно, если что умеет в сислог нативно, то оно не фигачит без дела символы "\n" в поток логов.
Д
Соответственно, если что умеет в сислог нативно, то оно не фигачит без дела символы "\n" в поток логов.
Я потестирую это поведение завтра, надеюсь деды сделали хорошо и мультилайн заработает как надо)
SP
SP
Там нет \n
SP
Ну и можно слать в rsyslog JSON опять же
SP
Ибо там вся машинерия под капотом есть необходимая
Д
Большое спасибо за помощь, завтра буду тестировать всё это. Полезно общаться с опытными коллегами
A
Кстати, как лучше организовать сбор логов из контенеров в EFK?
Сейчас rsyslog собирает логи драйвером syslog (переопределяется у нужных контейнеров) и кидает в центральный fluentd, который пихает в эластик.
Я думал переделать это, потому что мультилайн ломается, да и в целом кажется мне некрасивым решение. Я думал про несколько вариантов: стандартный драйвер json-log и скармливать файлы из директорий контенеров fluentd/fluent-bit или использовать journald драйвер и кормить из него.
Что лучше рассмотреть или может допилить имеющуюся схему?
Сейчас rsyslog собирает логи драйвером syslog (переопределяется у нужных контейнеров) и кидает в центральный fluentd, который пихает в эластик.
Я думал переделать это, потому что мультилайн ломается, да и в целом кажется мне некрасивым решение. Я думал про несколько вариантов: стандартный драйвер json-log и скармливать файлы из директорий контенеров fluentd/fluent-bit или использовать journald драйвер и кормить из него.
Что лучше рассмотреть или может допилить имеющуюся схему?
Не используй логирование через докер. Во-первых мультилайн у тебя ломается именно там (а, точнее, при передаче через stdio, т.к иной информации о границе лога при передаче через пайп, кроме переноса строки, нет, а это с мультилайном несовместимо), а, во-вторых, оно говно: обрезает длинные строки (что не очень критично, если ты такими вещами не увлекаешься), и, что хуже, выставляет таймстемпы с точностью до секунды (что уже пиздец, т.к. превращает логи в кашу, если они пишутся в хранилище с упорядочеванием по таймстемпу при выводе, типа эластика).
Настрой логирование силами самого приложения (в идеале) или, на худой конец, пусть приложение пишет логи в виде файлов в вольюм, из которого их вычитывает другой контейнер с рсислогом/файлбитом/вектором/etc.
Настрой логирование силами самого приложения (в идеале) или, на худой конец, пусть приложение пишет логи в виде файлов в вольюм, из которого их вычитывает другой контейнер с рсислогом/файлбитом/вектором/etc.
GG
12 факторов говно, да
A
12 факторов говно, да
Мультилайн говно. Ну и логирование в докере говно тоже.
Но раз уж первое говно очень нужно, то пусть человек хотя бы вторым не измажется.
Но раз уж первое говно очень нужно, то пусть человек хотя бы вторым не измажется.
GG
Твои предложения - как из стдаут хватать или отказаться от него ?