Size: a a a

Церковь метрик

2019 November 27

AS

Aleksey Shirokikh in Церковь метрик
Aliaksandr Valialkin
Тебе нужно построить гистрограмму по времени обработки запросов на adserver, который обрабатывает 3 миллиона запросов в секунду. Ты будешь записывать сырые данные по всем 3 миллионам значениям в секунду в TSDB и потом строить по ним гистограммы? Или лучше предагрегировать эти данные на стороне приложения и записывать агегированные счетчики в TSDB раз в 30 секунд?
Но ты то складывал в кх
источник

AV

Aliaksandr Valialkin in Церковь метрик
Evgeny Lazin
даже в этом случае можно хранить HdrHistogram или t-digest какой-нибудь, а не тупо каунтеры для статических бакетов
насколько я знаю, HdrHistogram - это тупо набор каунтеров для большого количества мелких бакетов
источник

EL

Evgeny Lazin in Церковь метрик
Aliaksandr Valialkin
Тебе нужно построить гистрограмму по времени обработки запросов на adserver, который обрабатывает 3 миллиона запросов в секунду. Ты будешь записывать сырые данные по всем 3 миллионам значениям в секунду в TSDB и потом строить по ним гистограммы? Или лучше предагрегировать эти данные на стороне приложения и записывать агегированные счетчики в TSDB раз в 30 секунд?
если эти данные нужны и их все равно нужно хранить в TSDB, это одно, если они не для чего больше кроме построения одной гистограммы не нужны (в чем я сомневаюсь), то другое
посчитать гистограмму по этим данным не проблема вообще
источник

AS

Aleksey Shirokikh in Церковь метрик
Aliaksandr Valialkin
насколько я знаю, HdrHistogram - это тупо набор каунтеров для большого количества мелких бакетов
Да с ресетом раз в минуту
источник

EL

Evgeny Lazin in Церковь метрик
можно не делать full scan, достаточно сэмплировать
источник

AV

Aliaksandr Valialkin in Церковь метрик
Aleksey Shirokikh
Но ты то складывал в кх
В кх не складывалось время обработки запроса. Там были всякие поля, полезные для построения пользовательских отчетов. Для девопс-отчетов использовался прометеус )
источник

ЕО

Евгений Омельченко in Церковь метрик
Evgeny Lazin
если эти данные нужны и их все равно нужно хранить в TSDB, это одно, если они не для чего больше кроме построения одной гистограммы не нужны (в чем я сомневаюсь), то другое
посчитать гистограмму по этим данным не проблема вообще
define НУЖНЫ
источник

EL

Evgeny Lazin in Церковь метрик
я затрудняюсь define "нужны" не используя слово "нужны" или его синонимов 😕
источник

ЕО

Евгений Омельченко in Церковь метрик
Это говорит о том, что вы даже не понимаете какой от этих данных толк
источник

AV

Aliaksandr Valialkin in Церковь метрик
Классный коммент в slack-чате thanos-dev, показывающий настоящее положение дел с консистентностью результатов запросов от таноса:
> also, I think that it could be reasonable to add some recommendations to Thanos docs about using partial response. On our scale with 49 backends Thanos becomes completely unstable without partial response
источник

AV

Aliaksandr Valialkin in Церковь метрик
Танос Query перестает работать, когда количество sidecar'ов становится больше 2. Чел предлагает решить эту проблему путем игнорирования ответов от "тормозных" и "зависших" sidecar'ов. В результате вместо почти всегда нерабочего сервиса получается сервис, который всегда отдает неправильный ответ :) Thanos engineering at a glance
источник

N

Navern in Церковь метрик
Aliaksandr Valialkin
Танос Query перестает работать, когда количество sidecar'ов становится больше 2. Чел предлагает решить эту проблему путем игнорирования ответов от "тормозных" и "зависших" sidecar'ов. В результате вместо почти всегда нерабочего сервиса получается сервис, который всегда отдает неправильный ответ :) Thanos engineering at a glance
разве у кластера вм нет такого же?
источник

N

Navern in Церковь метрик
в смысле по структуре
источник

AV

Aliaksandr Valialkin in Церковь метрик
есть, но отличие в том, что доступность всех сторедж нод в кластере вм в миллиард раз выше, чем доступность thanos sidecar'ов, разбросанных по всему миру.
источник

N

Navern in Церковь метрик
Aliaksandr Valialkin
есть, но отличие в том, что доступность всех сторедж нод в кластере вм в миллиард раз выше, чем доступность thanos sidecar'ов, разбросанных по всему миру.
А, понял
источник

EL

Evgeny Lazin in Церковь метрик
Евгений Омельченко
Это говорит о том, что вы даже не понимаете какой от этих данных толк
не понимаю, я никогда не занимался такими вещами :)
источник

SU

Stanislav Unknown in Церковь метрик
Господа! Кто может помочь? Почему не работает такая конструкция? Мне нужно укоротить лейбл в метрике:
scrape_configs:
- job_name: 'prometheus'
 metric_relabel_configs:
 - regex: 'container_label_io_kubernetes_(.*)'
   target_label: '$1'
 static_configs:
 - targets:
   - 127.0.0.1:8080
источник

A

Andor in Церковь метрик
Начну с вопроса, откуда у тебя она появляется
источник

SU

Stanislav Unknown in Церковь метрик
Andor
Начну с вопроса, откуда у тебя она появляется
cadvisor
источник

A

Andor in Церковь метрик
Может просто взять kube-prometheus?
источник