Size: a a a

Церковь метрик

2021 January 27

V

Vit in Церковь метрик
Коллеги, подскажите, можно ли как-то настроить, с какой частотой vmagent шлёт данные в VM ?

Верно ли мое ожидание, что он шлёт данные в VM с частотой ~= scrape_interval, и не чаще, и в зависимости от джобы?

То есть если у меня есть джоба и скрейп раз в 5 минут, и вторая джоба и скрейп раз в 10 минут, то через 13 минут vmagent отправит ~ 3 пачки данных?

очень не хочется, чтобы он постоянно слал все данные, особенно если не было измерений по джобе (не было нового скрейпа)

сс @valyala
источник

В

Вадим in Церковь метрик
коллеги ну поделитесь большой тайной - что используете на клиенте (имеется в виду сервисах): гистограммы или саммариз?
у меня например разброс размеров ответов и латенси очень большой и заранее описать это бакетами определенных размеров не могу - попаду пальцем в небо
саммариз вроде сами все считают и уже в готовом виде - но сколько за это придется заплатить производительностью сервиса?
источник

AV

Aliaksandr Valialkin in Церковь метрик
Vit
Коллеги, подскажите, можно ли как-то настроить, с какой частотой vmagent шлёт данные в VM ?

Верно ли мое ожидание, что он шлёт данные в VM с частотой ~= scrape_interval, и не чаще, и в зависимости от джобы?

То есть если у меня есть джоба и скрейп раз в 5 минут, и вторая джоба и скрейп раз в 10 минут, то через 13 минут vmagent отправит ~ 3 пачки данных?

очень не хочется, чтобы он постоянно слал все данные, особенно если не было измерений по джобе (не было нового скрейпа)

сс @valyala
Все верно - за 13 минут vmagent отправит до трех пачек данных для джобы со скрейп интервалом в 5 минут (например, в 1, 6 и 11 минуты) и до двух пачек данных для джобы со скрейп интервалом в 10 минут (например, во вторую и двенадцатую минуты). Собранные данные ненадолго складываются в буфер, который отправляется в ремоут сторедж в виде пачки данных спустя секунду. Время задержки перед отправкой можно конфигурировать с помощью опции командной строки -remoteWrite.flushInterval
источник

A

Andor in Церковь метрик
Вадим
коллеги ну поделитесь большой тайной - что используете на клиенте (имеется в виду сервисах): гистограммы или саммариз?
у меня например разброс размеров ответов и латенси очень большой и заранее описать это бакетами определенных размеров не могу - попаду пальцем в небо
саммариз вроде сами все считают и уже в готовом виде - но сколько за это придется заплатить производительностью сервиса?
никто кроме тебя не будет бенчмаркать твой сервис
источник

AK

Andrey Korviakov in Церковь метрик
Ребят, а у кого-то есть допиленная версия mixin репы на тему поддержки мультикластера? То что есть сейчас требует довольно серьезной доработки
(Да, там есть опция, но в половине правил это не учитывается)
источник

AM

Alexey Mravyan in Церковь метрик
Привет!
Столкнулся с проблемой: загрузка официального дашборда для vmagent вешает намертво браузер после отображения первых трех метрик. В network'e несколько висящих в пендинге запросов, браузер на действия пользователя реагировать перестает. Grafana v 7.3.2, с любыми другими дашбордами не воспроизводится.
Подскажите, пожалуйста, никто с подобным не стакивался?
источник

RK

Roman Khavronenko in Церковь метрик
Alexey Mravyan
Привет!
Столкнулся с проблемой: загрузка официального дашборда для vmagent вешает намертво браузер после отображения первых трех метрик. В network'e несколько висящих в пендинге запросов, браузер на действия пользователя реагировать перестает. Grafana v 7.3.2, с любыми другими дашбордами не воспроизводится.
Подскажите, пожалуйста, никто с подобным не стакивался?
веротяно какой-то из запросов возвращает слишком много метрик.  Нужно в браузере на пустой странице открыть режим разработчика (chrome developer tools например) на вкладке Network, потом перейти на дашборд вмагента и посмотреть какие запросы выполняются. Искать нужно запрос который больше всего возвращает данных
источник

AM

Alexey Mravyan in Церковь метрик
Roman Khavronenko
веротяно какой-то из запросов возвращает слишком много метрик.  Нужно в браузере на пустой странице открыть режим разработчика (chrome developer tools например) на вкладке Network, потом перейти на дашборд вмагента и посмотреть какие запросы выполняются. Искать нужно запрос который больше всего возвращает данных
Понимаю, спасибо. Не могу представить, откуда там может взяться много метрик: это тестовый агент с парой десятков хилых таргетов) Учитывая, что браузер виснет, ковыряться в нетворке максимально неудобно. Плюс по данным мониторинга хостов с графаной и самой викторией не видно роста утилизации каких-либо ресурсов ни на одном их них, свидетельствующих о наличии тяжелых запросов, возвращающих большой объем данных.
Предполагал, что проблема в совместимости дашборда/графаны/VM и кто-то уже сталкивался.
источник

RK

Roman Khavronenko in Церковь метрик
Alexey Mravyan
Понимаю, спасибо. Не могу представить, откуда там может взяться много метрик: это тестовый агент с парой десятков хилых таргетов) Учитывая, что браузер виснет, ковыряться в нетворке максимально неудобно. Плюс по данным мониторинга хостов с графаной и самой викторией не видно роста утилизации каких-либо ресурсов ни на одном их них, свидетельствующих о наличии тяжелых запросов, возвращающих большой объем данных.
Предполагал, что проблема в совместимости дашборда/графаны/VM и кто-то уже сталкивался.
это зависит не от агента, а от датасорса с которого вы читаете данные. И от кол-ва данных в этом датасорсе. Например, я видел случаи когда автокомплит скачивал 200мб данных при открытии панели
источник

AM

Alexey Mravyan in Церковь метрик
Roman Khavronenko
это зависит не от агента, а от датасорса с которого вы читаете данные. И от кол-ва данных в этом датасорсе. Например, я видел случаи когда автокомплит скачивал 200мб данных при открытии панели
Звучит логично. Смущает, что ни с одним другим дашбордом подобного даже близко не наблюдается.
Попробую залить метрики этого агента в пустую викторию. Посмотрим, поможет ли.
источник

AM

Alexey Mravyan in Церковь метрик
Roman Khavronenko
это зависит не от агента, а от датасорса с которого вы читаете данные. И от кол-ва данных в этом датасорсе. Например, я видел случаи когда автокомплит скачивал 200мб данных при открытии панели
Не помогло, с чистым датасурсом такая же фигня🙁
источник

RK

Roman Khavronenko in Церковь метрик
Хм, тогда не знаю. Там не используется чего-то дополнительного - только стандартные панели графаны. Какая у вас версия графаны, бтв?
источник

IE

Ivan EKbfh in Церковь метрик
Alexey Mravyan
Привет!
Столкнулся с проблемой: загрузка официального дашборда для vmagent вешает намертво браузер после отображения первых трех метрик. В network'e несколько висящих в пендинге запросов, браузер на действия пользователя реагировать перестает. Grafana v 7.3.2, с любыми другими дашбордами не воспроизводится.
Подскажите, пожалуйста, никто с подобным не стакивался?
иной браузер пробовали?
источник

AM

Alexey Mravyan in Церковь метрик
Ivan EKbfh
иной браузер пробовали?
chrome, firefox - результат один
источник

AM

Alexey Mravyan in Церковь метрик
Roman Khavronenko
Хм, тогда не знаю. Там не используется чего-то дополнительного - только стандартные панели графаны. Какая у вас версия графаны, бтв?
7.3.2, виктория и агент 1.52
источник

AM

Alexey Mravyan in Церковь метрик
Alexey Mravyan
Привет!
Столкнулся с проблемой: загрузка официального дашборда для vmagent вешает намертво браузер после отображения первых трех метрик. В network'e несколько висящих в пендинге запросов, браузер на действия пользователя реагировать перестает. Grafana v 7.3.2, с любыми другими дашбордами не воспроизводится.
Подскажите, пожалуйста, никто с подобным не стакивался?
Проблема оказалась в панели Persistent Queue Size. Убрал ее и дашборд заработал.
источник

RK

Roman Khavronenko in Церковь метрик
если выполнить запрос с нее в, например, Grafana Explore - что происходит?
источник

В

Вадим in Церковь метрик
Andor
никто кроме тебя не будет бенчмаркать твой сервис
я не понял как это связано с вопросом?
я вроде бы нигде и не отказывался! 😳
источник

A

Andor in Церковь метрик
Вадим
я не понял как это связано с вопросом?
я вроде бы нигде и не отказывался! 😳
извиняюсь
если есть сомнения на тему производительности снятия метрик, то только ты сам можешь попробовать варианты и выбрать тот, который нравится больше
источник

AM

Alexey Mravyan in Церковь метрик
Roman Khavronenko
если выполнить запрос с нее в, например, Grafana Explore - что происходит?
Прекрасно выполняется🤷‍♂️
источник