Size: a a a

Сбор и аналитика системных сообщений

2020 October 15

TF

Terry Filch in Сбор и аналитика системных сообщений
Sergey Pechenkó
}{мы, он же никак не заменяет Elastic.
просто он более функционала имеет из коробки, а мне на потестить
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
пока нормально altinity не завезет в свой cloud clickhouse - будем страдать))
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
тогда ставь и потом нам расскажешь 🙂
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Terry Filch
пока нормально altinity не завезет в свой cloud clickhouse - будем страдать))
отличный план! 👍
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Sergey Pechenkó
отличный план! 👍
ну тип админ/YourVariableOps инженеры рождены для этого ;)
хотя или судьба у нас такая...
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Terry Filch
ну тип админ/YourVariableOps инженеры рождены для этого ;)
хотя или судьба у нас такая...
Нарабатывать опыт в рамках стремления бизнесов уйти от платных продуктов? :-)
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Sergey Pechenkó
Нарабатывать опыт в рамках стремления бизнесов уйти от платных продуктов? :-)
и да и нет, опенсорс без вливания денег не выживет в наших реалиях
так что +/-
источник

VD

Vladimir Deev in Сбор и аналитика системных сообщений
Всем привет.

У нас SaaS написанный на Python, Celery + Docker Swarm, хостимся на DigitalOcean. Есть желание начать-таки сделать общее хранилище логов + мониторинг системы. Хочется иметь возможность быстро анализировать логи по celery-задачкам, которые могут выполняться в разных контейнерах на разных серверах + иметь возможность считать по ним некоторые метрики. Также еще в идеале визуализировать состояние очереди задач celery, ресурсов серверов, докер сворма и т.д.

Все говорят про Графану, понимаю, что она именно про мониторинг, но что насчет Кибаны из ELK? Как она в плане мониторинга? И вообще, насколько оправданно и удобно разделение - для логов и простой визуализации на основе логов - кибана, для всего остального - графана?

Смотрел на датадог, но на него денег нет 🙂
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Vladimir Deev
Всем привет.

У нас SaaS написанный на Python, Celery + Docker Swarm, хостимся на DigitalOcean. Есть желание начать-таки сделать общее хранилище логов + мониторинг системы. Хочется иметь возможность быстро анализировать логи по celery-задачкам, которые могут выполняться в разных контейнерах на разных серверах + иметь возможность считать по ним некоторые метрики. Также еще в идеале визуализировать состояние очереди задач celery, ресурсов серверов, докер сворма и т.д.

Все говорят про Графану, понимаю, что она именно про мониторинг, но что насчет Кибаны из ELK? Как она в плане мониторинга? И вообще, насколько оправданно и удобно разделение - для логов и простой визуализации на основе логов - кибана, для всего остального - графана?

Смотрел на датадог, но на него денег нет 🙂
кбиана для мониторинга ок
источник

GG

George Gaál in Сбор и аналитика системных сообщений
вопрос наливки метрик в эластик - да, это возможно, будет ли эффективно - вопрос
источник

VD

Vladimir Deev in Сбор и аналитика системных сообщений
George Gaál
кбиана для мониторинга ок
на гитхаб для графаны куча всяких сочных модулей для селери, сворма и прочего, что мы используем. а вот для елк такого не видел
источник

GG

George Gaál in Сбор и аналитика системных сообщений
ну, сочные модули
источник

GG

George Gaál in Сбор и аналитика системных сообщений
лол
источник

GG

George Gaál in Сбор и аналитика системных сообщений
ты же понимаешь - у них у половины качество УГ
источник

GG

George Gaál in Сбор и аналитика системных сообщений
все равно либо пилить самому, либо брать готовое с гитхаба и допиливать самому
источник

GG

George Gaál in Сбор и аналитика системных сообщений
других вариантов нет
источник

VD

Vladimir Deev in Сбор и аналитика системных сообщений
ну, когда красивые скриншоты из readme заставляют поверить, что там все круто работает)
источник

P

PsyDebug in Сбор и аналитика системных сообщений
Да тут сложно дать совет. Всё как-то индивидуально. Некоторым вон вообще локи+графана хватает и прекрасно себя чувствуют
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
George Gaál
вопрос наливки метрик в эластик - да, это возможно, будет ли эффективно - вопрос
niet.
В TSDB люди бьются за число байт на точку, а тут - ой, ну подумаешь, в JSON'е 100 байт одна точка хранится.
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Sergey Pechenkó
niet.
В TSDB люди бьются за число байт на точку, а тут - ой, ну подумаешь, в JSON'е 100 байт одна точка хранится.
еще раз - возможно лить метрики в эластик - ответ - да
источник