Для того, чтобы ещё больше запутаться и усложнить себе расчёты
*вредный совет*

ну вы хоть бы моргали, а то я ж серьезный )

Коллеги, сталкивался ли кто с такой проблемой - vmagent не отправляет все метрики из персистстора после рестарта оного? получается вот такая дырка, при этом в metainfo.json вот такая картина {"Name":"1:secret-url","ReaderOffset":1823097,"WriterOffset":2483920}
если vmagent еще раз рестартануть ReaderOffset сдвигается к WriterOffset, но точки до виктории не доходят, т.е. пропадают вообще

+ есть подозрение, что буферизированные точки сбрасываются в персистстор только после sigtetm vmagent'а

и пропадают точки (та дыра на графике) целыми батчами (в батче примерно 17к разных точек).  К примеру, было отправлено 10 батчей в момент когда vminsert не был доступен для vmagent, батчи ушли нормально (200 коды от него получены), ошибок с стороны vmagent не было, в логах только 503 ошибки от haproxy за которым vminset'ы сидят, после этого vmagent нормальным образом убивается, что было в памяти он сбрасывает в персистстор, вот только судя по всему сбрасывает он туда не 10 батчей, а почему-то первый батч, потом дыра в 3-4 батча, по разному бывает, и затем остатки батчей. После запуска он их и сбрасывает в vminsert. проверял по метрикам, сколько сбросил в байтах в стор столько и отправил. Куда делись 3-4 батча с точками по пути - не понятно...
Проблема воспроизводится только через остановку vmagent, если он продолжает работать, после восстановления vminsert'ов он нормально все батчи скидывает, без потерь.

Бенчмарк Prometheus vs VictoriaMetrics на метриках node_exporter

Недавно в VictoriaMetrics появилась возможность скрейпинга целевых объектов Prometheus. И теперь мы можем сравнивать яблоки с яблоками: сколько ресурсов используют Prometheus и VictoriaMetrics при скрейпинге большого количества node_exporter. Читать дальше.

Комментариев к росту мало. Надо продвигать VM.

не канал, а сплошная рекламная доска

чот нет

ну чет да, с 1го числа больше рекламы, чем постов по теме канала

Подскажите верное направление, если надо мониторить 4-5 очень похожих кластеров, как лучше реализовать структуру: установить по прометею внутри кластера и вытягивать данные в вышестоящий прометей? Если да, то как это делается, через федерацию?

у вас два варианта. либо федерация либо remote_write.

обычно выбирают remote_write

Я федерацией делал.
remote_write с кластеров в Викторию тоже норм

всем привет.
делаю следующую балайку:
ansible inventory загружаю zookeeper и хочу настроить prometheus на скрэппинг таргетов из zookeeper.
не понимаю как в zookeeper должна выглядеть zknode для того чтобы прометей понял, что это target.

сейчас пытаюсь сделать так:

- job_name: 'scrape_inventory'
    serverset_sd_configs: # zookeeper service discovery
      - servers: ['zoo-to-prom_zookeeper_1']
        paths: ['/inventory/all/children/haproxy/hosts']

где /inventory/all/children/haproxy/hosts - адрес сервера haproxy.
пока только очевидно, что не хватает порта exporter.
в каком формате должна быть zknode, чтобы prometheus съел ее как таргет?

спасибо

👍

так статья трёхмесячной давности

у VM (victoria metrics) есть аналог promtool (prometheus) ? если какое-нибудь задание (job, scrape target) начнет отдавать в разы больше чем надо - чем это смотреть? например в prometheus есть promtool - и можно глянуть что там в WAL у нас с метриками и лейблами