Size: a a a

Сбор и аналитика системных сообщений

2020 October 15

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Ну так, если что.
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
чем метрики посещений сайтов отличаются от метрик CPU?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Sergey Pechenkó
Это - название сервися. Туда льются события с сайтов, а не цифры.
+
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
цифры посещений?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Gleb Lesnikov
чем метрики посещений сайтов отличаются от метрик CPU?
"широкие метрики"
источник

GG

George Gaál in Сбор и аналитика системных сообщений
стандартные метрики - это три колонки: timestamp, tags, value
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Gleb Lesnikov
цифры посещений?
События.
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
George Gaál
стандартные метрики - это три колонки: timestamp, tags, value
и?
источник

GG

George Gaál in Сбор и аналитика системных сообщений
То что Яндекс метрика тут не в тему
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Ты ещё про соцдем порассуждай
источник

GL

Gleb Lesnikov in Сбор и аналитика системных сообщений
George Gaál
"широкие метрики"
звучит как более сложная задача чем метрики цпу, т.е. с метриками цпу кликхаус вполне неплохо должен справляться
источник

VD

Vladimir Deev in Сбор и аналитика системных сообщений
кстати, для докер-контейнеров, которые работают через докер сворм, какой правильный способ собирать логи?
приложухе сразу писать логи в логстэш (не моментально, а с кешированием и в отдельном треде) - вроде не по 12-factor app'у.
тогда должна быть какая-то внешняя штука, которая живет на хосте и собирает логи из всех запущенных контейнеров. при этом в случае, если они по каким-то причинам умерли - не забывает взять из них оставшиеся логи и переключается на новый контейнер.
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Vladimir Deev
кстати, для докер-контейнеров, которые работают через докер сворм, какой правильный способ собирать логи?
приложухе сразу писать логи в логстэш (не моментально, а с кешированием и в отдельном треде) - вроде не по 12-factor app'у.
тогда должна быть какая-то внешняя штука, которая живет на хосте и собирает логи из всех запущенных контейнеров. при этом в случае, если они по каким-то причинам умерли - не забывает взять из них оставшиеся логи и переключается на новый контейнер.
Писать в стдаут, все стандартно
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Gleb Lesnikov
звучит как более сложная задача чем метрики цпу, т.е. с метриками цпу кликхаус вполне неплохо должен справляться
Смотри
источник

GG

George Gaál in Сбор и аналитика системных сообщений
У тебя все таймсириз хранятся особым образом. Каждая - к каждой. Это позволяет хранить не метрику, а дельту от дельты и очень плотно упаковывать метрики
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Кх по умолчанию тоже жмёт, но сильно хуже - тебе придётся изобретать особый формат Таблицы, когда у тебя строки соответствуют отдельным таймстемпам, а столбцы - конкретным метрикам
источник

GG

George Gaál in Сбор и аналитика системных сообщений
Возможно в движке для графита там все сделали «правильно», но в вопросе про это речи не шло, а про «обычный кх» с Мержтри
источник

VD

Vladimir Deev in Сбор и аналитика системных сообщений
George Gaál
Писать в стдаут, все стандартно
понял, файлбиту надо сказать, чтобы мониторил /var/lib/docker/containers/*/*-json.log
источник

SP

Sergey Pechenkó in Сбор и аналитика системных сообщений
Vladimir Deev
понял, файлбиту надо сказать, чтобы мониторил /var/lib/docker/containers/*/*-json.log
источник

GG

George Gaál in Сбор и аналитика системных сообщений
George Gaál
У тебя все таймсириз хранятся особым образом. Каждая - к каждой. Это позволяет хранить не метрику, а дельту от дельты и очень плотно упаковывать метрики
Отсюда же идёт - предварительная аллокация места  в том же ванильном графите под каждую отдельную метрику
источник