задача - выбрать самые долгие транзакции transaction_duration и вывести их количество transaction_count

with (
  cf={app="$app", transaction_type="$transaction_type", host=~"$host",subtype=~"$subtype",subtype!~"all"},
)

topk_avg(3, transaction_duration{cf}) * 0 + on(transaction_name) transaction_cnt{cf}

Решение выглядит норм

выборку можно сделать более точной, если добавить integrate() ?

topk_max(3, integrate(transaction_duration{cf}))

добрый день
кто-то настраивал statsd-proxy?

Есть. Для сборки результатов выполнения теста (сколько было запросов, сколько упало, какое время выполнения и т.д.) обычно используют связку InfluxDB + Grafana - в сообществе QA Load есть много материалов на эту тему.  На одном из проектов заказчик использует Prometheus, потому делали дашборд для отображения результатов теста под пром.

Опыт составления таких дашбордов небольшой, потому назвать все подводные камни и сказать, что лучше использовать, не смогу. Сам сталкивался со следующим.

Для прома нужно учитывать scrape_interval - тест может закончиться между скрейпами, потому нужно будет немного подержать коннект, чтобы точно все метрики были сняты.

У InfluxDB 1.8.3 словил отказ писать метрики, мол, место кончилось, хотя места хватало, - помог рестарт сервиса. Ещё нюанс - как именно писать метрики, чтобы их кверить в дашборде. Можно настроить [[graphite]] в influxdb.conf, а можно приделать к записываемым данным дополнительные символы, чтобы в графане селектить с использованием регулярок. Стоит ли ставить версию 2+ и использовать Flux - отдельная история.

Сбор метрик с нагружаемых машин - тут уж надо узнавать, что использует заказчик и что он готов поставить. На проекте с промом используем Node exporter и JMX exporter с готовыми дашбордами.

ясно спасибо. мне для представления в общих чертах, какие навыки нужны с какими инструментами. получается это такой же админдевопс только усиленный пониманием QA

Приветствую. Может кто сталкивался с тем, что Victoria Metrics работала, показывала метрики, а когда их стало приходить больше - она их выводить в графану перестала? Ситуация выглядит так: кластерная версия виктории, есть дашборд в графане. Запрос в дашборде выполняется около двух минут, а когда стало еще больше данных - он стал практически мгновенно выводить No Data. Т.е. похоже, что упираемся в какой-то лимит, но нет нигде в логах никаких ошибок, поэтому непонятно, в какой же

Судя по дашборду с внутренними метриками виктории данные в неё поступают, поэтому грешу именно на вывод их - на компонент vmselect или на какие-то странности в vmstorage

Странно что логов нет. Логлевел меняли?

На дебаг например. Хоть что-то должно быть

Щас попробую, просто в хелпе про логлевел указано Possible values: INFO, WARN, ERROR, FATAL, PANIC (default "INFO") - типа что дефолт самый разговорчивый и так :)

да самывй разговорчивый

можно скрины дашбордов покидать. Там должны быть панели которые показывают использование ресурсов, скорость выполнения запросов и т.д.

если в transaction_duration запсывается длительность каждой отдельной транзакции, то лучше вместо integrate испльзовать sum_over_time. Если же там хранится сумма длительностей всех транзакций (aka counter), то никаких дополнительных фукнций добавлять не нужно - достаточно transacton_duration{cf}

Спасибо, попробую

1.x.0 довольно стабильны.

Да, но щас уже 7.х.0

это самоирония

стабильны в чём?

Привет, а ты про какой то конкретный statsd-proxy спрашиваешь? Или это общий вопрос из разряда - такие вообще есть? Как с ними жить?