Size: a a a

Архитектура ИТ-решений

2019 December 12

PD

Phil Delgyado in Архитектура ИТ-решений
Есть на базе эластика  - разные варианты стека ELK. Для очень маленьких проектов подходит (так как все запускается из коробки), но для чего-то серьезного становится дорогим.
Есть облачные коллекторы, типа спланка. Оплата за объем, очень быстро становится дорого, но зато очень много фишечек.
Есть ClickHouse с обвязками. Все хорошо с производительностью, но нужно подумать над доставкой логов.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
С доставкой логов тоже свой зоопарк - logstash, filebit, fluent, flientbit, rsyslog, syslog-ng, kafka etc
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
Хорошая была штука https://www.splunk.com но они участвуют в санкциях против России.
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
Вот аналоги (типа): https://ruprogi.ru/software/splunk
источник

MS

Maxim Shalomovich in Архитектура ИТ-решений
Phil Delgyado
Есть на базе эластика  - разные варианты стека ELK. Для очень маленьких проектов подходит (так как все запускается из коробки), но для чего-то серьезного становится дорогим.
Есть облачные коллекторы, типа спланка. Оплата за объем, очень быстро становится дорого, но зато очень много фишечек.
Есть ClickHouse с обвязками. Все хорошо с производительностью, но нужно подумать над доставкой логов.
ради интереса, где проходит по твоему опыту граница "дороговизны" ELK? На каком объеме? И в чем дороговизна заключается?
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
Вот, если интересно Cloud-Native (фильтр по системам для журналирования): https://landscape.cncf.io/category=logging&format=card-mode&grouping=category
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
У меня колеги https://www.graylog.org/ любят.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Maxim Shalomovich
ради интереса, где проходит по твоему опыту граница "дороговизны" ELK? На каком объеме? И в чем дороговизна заключается?
Я бы думал об уходе с эластика при приближении к 5000 строк в секунду. И о быстром убегании при 20000 строк в секунду.
Для пиковых нагрузок (трейс+пики), конечно.
И если нужно хранить логи долго, а годовой объем доходит до 1TB.

Цена - ядра на логстеэш и эластик (оба очень много едят), поддержка кластерного эластика (там просто из коробки уже не обойтись), обучение языку запросов эластика (хотя sql уже появился, но с ограничениями и без jdbc драйвера)
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Грейлог - это как раз надстройка над эластиком. Но там совсем неудобный UI (
источник

K

Kostya in Архитектура ИТ-решений
Груста чойто
источник

PD

Phil Delgyado in Архитектура ИТ-решений
В этой статье все перепутали. И ни одного реального аналога нет - спланк хорош своими алгоритмами анализа отклонений (по их обещаниям), а этого больше ни у кого нет. Потому и СБшники его любят )
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
Phil Delgyado
В этой статье все перепутали. И ни одного реального аналога нет - спланк хорош своими алгоритмами анализа отклонений (по их обещаниям), а этого больше ни у кого нет. Потому и СБшники его любят )
Да. Согласен про статью: мухи с котлетами смешали. Спланк это AIOps.
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
Phil Delgyado
В этой статье все перепутали. И ни одного реального аналога нет - спланк хорош своими алгоритмами анализа отклонений (по их обещаниям), а этого больше ни у кого нет. Потому и СБшники его любят )
Я поэтому сразу написал "типа" аналоги.
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Ну, просто инструменты вокруг логирования )
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Некоторые.
источник

AT

Alexander Teterkin in Архитектура ИТ-решений
источник

PD

Phil Delgyado in Архитектура ИТ-решений
Но пока там все дорого, как я понимаю...
Но следующий шаг, да.
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
+
источник

K

Kostya in Архитектура ИТ-решений
Alex Wells
какой смысл думать над проблемами, с которыми мы еще долгое время не столкнемся?
Есть смысл не говнокодить, вот и все. Тут про это пишут.
Писать лог и бизнес в одной транзакции - это говнокод.
Это два, неуд и зови родителей :)))
источник

AW

Alex Wells in Архитектура ИТ-решений
Kostya
Есть смысл не говнокодить, вот и все. Тут про это пишут.
Писать лог и бизнес в одной транзакции - это говнокод.
Это два, неуд и зови родителей :)))
Что? Речь была об транзакции для миграции данных на новую схему
источник