если у вас prometheus, то у него тоже есть свой web interface для работы с данными… в какой-то степени он даже проще чем интерфейс у графаны, на мой взгляд… для рандомных или не совсем данных, можете поставить на машину node_exporter (если у вас linux) и сделать scrape config для него в prometheus, после чего добавить в графану  dashboard от node_exporter’a и посмотреть на данные / графики (как и в самом prometheus по метрике)

Насколько я помню, там проблема именно в правилах релейблинга в проме. Потому без учета их вряд ли что-то можно подсказать

ок, спасибо

Есть несколько вариантов:
1. Если кол-во получаемых данных от Прома предсказуемо, то можно добавить алерт который будет проверять что rate(vm_rows_inserted_total) не ниже ожидаемого значения
2. Можно сконфигурировать VM чтобы она мониторила Prom. Тогда по собственным метрикам прома (prometheus_remote_*) или их отсутствии можно построить соотв. алерт.
3. Можно сделать алерт для отсутствия конкретной метрики с помощью ф-ций absent или absent_over_time (promql, metricsql)
4. Можно так же измерять лаг оиждаемых метрик с помощью ф-ции lag (только metricsql). См. детали здесь https://github.com/VictoriaMetrics/VictoriaMetrics/issues/657#issuecomment-670936171

можете попробовать использовать метрику prometheus_remote_storage_queue_highest_sent_timestamp_seconds

https://grafana.com/blog/2021/04/12/how-to-troubleshoot-remote-write-issues-in-prometheus/

Уже в этот четверг, 10 июня 2021 года в Санкт-Петербурге пройдёт пятая конференция Big Monitoring Meetup, посвящённая технологиям мониторинга — разработке, настройке и эксплуатации. Big Monitoring Meetup объединяет специалистов по мониторингу работающих в разных сферах IT, из разных компаний и на разных позициях. На бесплатной однодневной оффлайн конференции традиционно будет представлено 10 докладов, которые включают в себя дискуссии в формате BMM Talks. Принять участие в дискуссиях смогут все присутствующие! Полная программа на сайте сообщества.

Регистрация: бесплатная, окончание регистрации: 08.06.2021 23:59
Место проведения: Конгресс центр ЛПМ
Дата: 10 июня 2021, 10:00 - 18:00
Адрес: пр. Медиков, 3 лит. А, Санкт-Петербург

Бесплатная регистрация
Бесплатная трансляция на Youtube-канале

Всем привет! Напоминаю. Заходите на огонек в онлайн и в офлайн.

Там вон QuestDB тихо и незаметно оказывается пишет статьи со всякими бенчмарками:
https://questdb.io/blog/2021/05/10/questdb-release-6-0-tsbs-benchmark/

опять без виктории

За то у нас с викторией.

ну тут вопросы к авторам, но я что-то про них пару лет прям не слышал, а они оказывается развиваются

и это прекрасно

всем привет, прикручен к nginx офф экспортер https://github.com/knyar/nginx-lua-prometheus

попросили прикрутить к графане какой-то латенси, глянул там есть метрики
> "nginx_http_request_duration_seconds", "HTTP request latency", {"host"})

но в метриках есть nginx_http_request_duration_seconds_bucket и nginx_http_request_duration_seconds_count и nginx_http_request_duration_seconds_sum

может быть кто-то подскажет какую метрику брать и как ее выводить в графане?

Ты можешь либо среднее взять поделив sum на count, либо вывести гистограмму по персентилям

Вот тут хорошо объясняется что и как

У меня есть чуток инфы - подняли раунд вроде как убрали себя как конкурента кликхауса перешли на метрики. Мониторинг сами себя предоставляют плохо :)

я, кстати, заметил что очень много tsdb немного умерло

Доброго дня, есть задача собрать TSDB Status со всех промефеус нод. У нас не мало куб-кластеров с промефеусом и грубо говоря нужно собрать сколько метрик мы едим, потребляем, отправляем. Как можно попроще подсчитать, собрать всё это дело со всех кластеров?

спасибо добавил так

rate(nginx_http_request_duration_seconds_sum{host=~".*$domain"}[5m])/rate(nginx_http_request_duration_seconds_count{host=~".*$domain"}[5m])

но у меня есть поддомены разного 3-4-5 уровня и на графике полная каша по доменам, как бы все поддомены объеденить в один домен и выводился график по всему домену?