у меня кликабельно

главное, что бы webui хороший был 😉

А что вы используете для длительного хранения метрик? А то я вставил influxdb1.7 и сижу

victoriametrics

Они делают по аналогии с графана агентом, да и вообще идея на поверхности была

Не отрицую ваших заслуг, но это сложно назвать копированием виктории

если что, то графана агент появился через пару месяцев после vmagent'а

Извините за глупый вопрос, но vmagent это же клиент серверной части, который в неё умеет пушить данные?

Ну значит точно копипуют, а не идут похожими путями к похожим целям

Ага

Этой концепции лет 20, а то и больше 😁 Виктория тут явно не первопроходец

тут надо знать контект -  в прометеус мире первой была виктория ) когда @valyala открывал фича реквест в прометеус об этом ему сказали что такого никогда не будет )

В этом контексте согласен, да

выдать виктории талон на взятие пирожка с полочки

да было бы круто

Привет всем!
А кто-то у себя делает метрики по скорости и качеству обработки http-запросов с разбивкой по эндпойнтам? Если такие есть, какие инструменты для этого выбираете?
Хотелось бы, например: график по среднему времени ответа конкретного эндпойнта или группы эндпойнтов.

Мы сейчас используем nginx-ingress-controller(этот https://kubernetes.github.io/ingress-nginx/), и он умеет экспортить в прометей метрики по обработке http-запросов, но они группируются по path в ingress'е, и получется, что у меня сейчас 1 путь на 1 бэкенд. Вроде бы они к этому пришли т.к. если писать url каждый раз, есть риск заддосить прометей. Не уверен что стоит прописывать отдельные пути в ингрессе только для метрик, мб есть ещё какие-то варианты собирать куда-то такую стату? Мб альтернативные inrgess-контроллеры удобнее в этом плане?

Есть Jaeger, в котором можно выбрать нужные span'ы и смотреть, но выгрузить в какой-нибудь прометей/графану и построить график по средней длительности span'а не получится(или я не нагуглил решений).

Есть ещё довольно простой вариант в виде построения графиков логам, сейчас время обработки с url'ом мы логируем в graylog(elastic), мб есть смысл юзать что-то типа kibana/loki для графиков/алертов по логам?

Может я упускаю какой-то простой и удобный вариант?

Или мб экспортить эти метрики из приложения лучше? Научить приложения их отдавать, или, например, пушить в какой-нибудь Thanos?
(Просто php чуть сложнее наверное научить отдавать метрики из-за умирающей модели работы)
Ну и ещё осложняется тем, что приложений(сервисов) несколько

Для пхп есть библиотеки

вы хорошо по вариантам прошлись. их несклько
1. по логам. так делает большинство. у этого метода отличная точность и высокая гранулярность, но цена сбор высоковата, сначала написать строчку потом доставить потом распарсить и только после этого сделать метрику.
2. по трейсам. уже лучше, но нужны агрегаторы, которые будут работать по всем записям. и записей будет намного больше чем в логах
3. с балансера например через nginx-vts. это модуль, он висит как крючок для логов. он собирает всё что надо но требует компиляции nginx. ну и его настройка довольно развесистая
4. с балансера через  nginx-lua-чото-там-метрикс. берём луа, и библиотеку к оному. фигарим метрики с любым разрезом для него
5. само приложение. для php обычно берут что то что отправляет метрики по Push модели. Graphite или statsd_exporter. ибо таков паттерн написания кода под пыху

я для себя остановился на том что собираю данные независимо по статус кодам с балансера, а латенси ответа с приложения

А пинба померла уже? Вроде бы для сбора метрик с пхп самое то было.