В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Сбор и аналитика системных сообщений

977 membersпожаловаться на группу
2020 November 10

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Loki Starcaller
Леди и Джентельмены! У меня тут возник один интересный вопрос. Есть ли какая-нибудь система для сбора, обработки, хранения и визуализации логов для небольших проектов (потребляющая небольшое количество ресурсов). Что-то вроде лайтовой версии filebeats + logstash + elastic + kibana. В принципе меня устраивает в небольших проектах писать логи в файлы (где-то готовые логи, в каких-то приложениях делать DIY логи), но мне тут пришло в голову, что наверняка есть какое-то готовое решение для таких случаев.
Rsyslog + tailon
источник
23:15пожаловаться#1

MK

Max Krylov in Сбор и аналитика системных сообщений
Loki Starcaller
Леди и Джентельмены! У меня тут возник один интересный вопрос. Есть ли какая-нибудь система для сбора, обработки, хранения и визуализации логов для небольших проектов (потребляющая небольшое количество ресурсов). Что-то вроде лайтовой версии filebeats + logstash + elastic + kibana. В принципе меня устраивает в небольших проектах писать логи в файлы (где-то готовые логи, в каких-то приложениях делать DIY логи), но мне тут пришло в голову, что наверняка есть какое-то готовое решение для таких случаев.
Ну относительно elk greylog небольшой)
источник
23:33пожаловаться#2

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Max Krylov
Ну относительно elk greylog небольшой)
О том, что под капотом грейлога живёт настоящий эластик, ты, конечно, не в курсе?
источник
23:35пожаловаться#3

MK

Max Krylov in Сбор и аналитика системных сообщений
Конечно нет, ни разу его не ковырял)
источник
23:35пожаловаться#4

MK

Max Krylov in Сбор и аналитика системных сообщений
Очень сложно считать сингл ноду предыдущей мажорной версии настоящим эластиком, после hl/ha сетапов актуального и полнофункционального.
источник
23:37пожаловаться#5
2020 November 11

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Гайрат
И они тоже
Стектрейсы лучше слать в сентри.

А так есть json-log-formatter или structlog
источник
01:14пожаловаться#6

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Так как в репе делать не надо, вам это потом такими-же костылями разберать где-то еще, в json универсальнее завернуть
источник
01:15пожаловаться#7

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Bogdan (SirEdvin) Gladyshev
Так как в репе делать не надо, вам это потом такими-же костылями разберать где-то еще, в json универсальнее завернуть
Вообще-то ты прямо в этом чате уже рассказывал, как JSON "искаропки" переводы строки поддерживает 😂
источник
01:45пожаловаться#8

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Потом почему-то выяснилось, что нет - только в виде "\n", то есть кто-то потом должен эту дрянь разэскейпивать.
источник
01:46пожаловаться#9

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
И ты, кстати, споришь с официальной докой по Питону (не, ну а чо?): https://docs.python.org/3/howto/logging-cookbook.html#customized-exception-formatting
источник
01:47пожаловаться#10

AG

Alexander Gavrushenk... in Сбор и аналитика системных сообщений
Эм, так одно дело когда все логи в джейсоне, а другое когда костылями мультилайны убираешь
источник
01:48пожаловаться#11

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Именно! Тут про второе. Только почему костыль, если штатная фича?
источник
01:51пожаловаться#12

AG

Alexander Gavrushenk... in Сбор и аналитика системных сообщений
я про то что из коробки если json делать то потом очевидно кто-то будет его разбирать в пайплайне, и разэскейпится все само, а если как в примере городить - то плохо получится
источник
01:59пожаловаться#13

AG

Alexander Gavrushenk... in Сбор и аналитика системных сообщений
но есть конечно еще ньюансы, что какие-нибудь сторонние либы (или процессы в контейнере) могут ничего не знать про формат, плюс у докера есть ограничение на длину строки
источник
01:59пожаловаться#14

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Alexander Gavrushenko (glenngrin)
я про то что из коробки если json делать то потом очевидно кто-то будет его разбирать в пайплайне, и разэскейпится все само, а если как в примере городить - то плохо получится
Я в итоге не понял из твоего сообщения, ты за или против реализации по питонячьей доке? :-)
источник
02:02пожаловаться#15

AG

Alexander Gavrushenk... in Сбор и аналитика системных сообщений
Конкретно по этому линку - я хочу не кастомный эксепшн форматтинг, а логи по строчке на ивент, - там автоматически pretty-сделаный стактрейс будет строкой с \n
источник
02:11пожаловаться#16

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Alexander Gavrushenko (glenngrin)
Конкретно по этому линку - я хочу не кастомный эксепшн форматтинг, а логи по строчке на ивент, - там автоматически pretty-сделаный стактрейс будет строкой с \n
https://docs.python.org/3/howto/logging-cookbook.html#implementing-structured-logging
источник
02:19пожаловаться#17

OP

Oleg Ponomarev in Сбор и аналитика системных сообщений
Loki Starcaller
Леди и Джентельмены! У меня тут возник один интересный вопрос. Есть ли какая-нибудь система для сбора, обработки, хранения и визуализации логов для небольших проектов (потребляющая небольшое количество ресурсов). Что-то вроде лайтовой версии filebeats + logstash + elastic + kibana. В принципе меня устраивает в небольших проектах писать логи в файлы (где-то готовые логи, в каких-то приложениях делать DIY логи), но мне тут пришло в голову, что наверняка есть какое-то готовое решение для таких случаев.
Локи от графаны
источник
08:42пожаловаться#18

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Sergey Pechenkó
Вообще-то ты прямо в этом чате уже рассказывал, как JSON "искаропки" переводы строки поддерживает 😂
Это такой троллинг что ли?)

Json поддерживает перевод строки, так в формате написано)
Уже лет 10 в json передают целые блог посты
источник
10:12пожаловаться#19

BG

Bogdan (SirEdvin) Gl... in Сбор и аналитика системных сообщений
Sergey Pechenkó
https://docs.python.org/3/howto/logging-cookbook.html#implementing-structured-logging
То что тут написано, это вариант реализации. https://pypi.org/project/JSON-log-formatter/ делает почти тоже самое, но проще инегрируеться в готовый код
PyPI
JSON-log-formatter
JSON log formatter
источник
10:16пожаловаться#20