Size: a a a

Сбор и аналитика системных сообщений

2020 December 16

TF

Terry Filch in Сбор и аналитика системных сообщений
+grafana
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
метрики - grafana over victoriametrics
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
Max Grom
Уточню может вопрос чуть шире. В целом, это задача отказаться от GoogleAnalytics и начать использовать наработки на уровне своей инфраструктуры. Но поскольку до вопроса визуализации далеко, да и не так критично, когда можно и в графане выводить. Потому ключевой момент для меня - понять как лучше слать и куда. На сейчас есть statsd + prometheus. Эта связка осталась после отказа от DataDog
вы не сможете спрыгнуть с ga в общем случае.
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Aleksey Shirokikh
вы не сможете спрыгнуть с ga в общем случае.
+
источник

AS

Aleksey Shirokikh in Сбор и аналитика системных сообщений
оно решает совершенно другие задачи
источник

MG

Max Grom in Сбор и аналитика системных сообщений
Я понимаю. Под словом “спрыгнуть” можно понимать необходимость не заводить GA на бекенд
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Max Grom
> Не надо делать из событий метрики - можете уточнить?
> агрегируются эластиком и кибаной - про агрегацию понял, но как туда их предложите слать
Смотри (только тут без строгой математики, конечно)
Метрика - величина, которая существует и имеет смысл, условно, для любого момента времени. Загрузка проца, потребление iops, объём занятой памяти.
А события случайны по своей природе (зашёл пользователь на сайт, в логи упало событие).

Отличие метрики от события - метрики хороши, когда снимаются с регулярными интервалами. Если интервалы неравные - метрики страдают.
Чаще всего метрики имеют размерность "величина * частота" ([iops, req, Mbit]/сек). Но число событий (например, заходов на сайт) от изменения интервала никак не меняет свой смысл - оно будет просто больше или меньше.

Это моё интуитивное понимание, но косвенно в пользу его свидетельствует тот факт, что гугл в своей аналитике отказывается строить агрегаты, если событий слишком мало.
источник

MG

Max Grom in Сбор и аналитика системных сообщений
Понял. То есть мне в принципе стоит искать решение не для метрик (как VictoriaMetrics), а что-то другое?
источник

YB

Yury Bushmelev in Сбор и аналитика системных сообщений
был какой-то аналог GA открытый... piwik что ли
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Max Grom
Понял. То есть мне в принципе стоит искать решение не для метрик (как VictoriaMetrics), а что-то другое?
Если ты хочешь заместить гуглоаналитику, то:
1. Продумай передачу событий с фронта на бэк
2. Продумай хранение получившейся кучи всего (кликхаус/ELK)
3. Продумай дашборды

Или забить и использовать яндекс.метрику.
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Yury Bushmelev
был какой-то аналог GA открытый... piwik что ли
Был, и у него даже платный вариант вроде существовал. Но хранилка кучи всего всё арвно потребуется, так кликхаус спецом для таких задач пилился.
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Sergey Pechenkó
Смотри (только тут без строгой математики, конечно)
Метрика - величина, которая существует и имеет смысл, условно, для любого момента времени. Загрузка проца, потребление iops, объём занятой памяти.
А события случайны по своей природе (зашёл пользователь на сайт, в логи упало событие).

Отличие метрики от события - метрики хороши, когда снимаются с регулярными интервалами. Если интервалы неравные - метрики страдают.
Чаще всего метрики имеют размерность "величина * частота" ([iops, req, Mbit]/сек). Но число событий (например, заходов на сайт) от изменения интервала никак не меняет свой смысл - оно будет просто больше или меньше.

Это моё интуитивное понимание, но косвенно в пользу его свидетельствует тот факт, что гугл в своей аналитике отказывается строить агрегаты, если событий слишком мало.
+
источник

MG

Max Grom in Сбор и аналитика системных сообщений
Sergey Pechenkó
Если ты хочешь заместить гуглоаналитику, то:
1. Продумай передачу событий с фронта на бэк
2. Продумай хранение получившейся кучи всего (кликхаус/ELK)
3. Продумай дашборды

Или забить и использовать яндекс.метрику.
Задача не для фронта. Мне нужно собирать с бекенда события и формировать из этого продуктовые графики
источник

MG

Max Grom in Сбор и аналитика системных сообщений
С одной стороын для визуала я могу обойтись и графаной. Вопрос в том чем слать, куда и каким способом
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
боты пошли
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
опять
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Yury Bushmelev
был какой-то аналог GA открытый... piwik что ли
+, переименовали только её
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
Yury Bushmelev
был какой-то аналог GA открытый... piwik что ли
источник

TF

Terry Filch in Сбор и аналитика системных сообщений
ну и всегда можно  сливать с mysql - > clickhouse, а читать и строить из clickhouse
источник

MG

Max Grom in Сбор и аналитика системных сообщений
Сливать? Ну, не всё в базе есть, что нужно анализировать
источник