Всем привет.

Не хватает понимания как собирать метрики с удалённых площадок.

Есть несколько датацентров раскиданых по миру. В каждом дц есть несколько виртуалок с web-сервисами и просто сервисами (это винда), в перспективе будет кубер.
По прикидкам на каждом дц будет собираться ~500 метрик.

Есть ещё один дц, там тоже несколько виртуалок с сервисами управления всем этим хозяйством.

Хочется собирать все метрики в центр и там принимать решение об алертинге и т.п.

Вижу несколько вариантов:
1. Prometheus в центре, и на каждом ДЦ с web-сервисами тоже prometheus. Дальше настроить федерацию и собирать.
 Из плюсов:
 -  всё уже придумано
 Из минусов:
 - каналы связи не всегда дают возможность достучаться до ДЦ
 - prometheus не поддерживает аутентификацию, нужно будет придумывать что-то перед ним

2. Prometheus в центре, на веб-сервисных ДЦ метрики пушить в Azure EventHub (кто не знает, это типа кафки), в центре принимать метрики из EventHub и пушить в Prometheus.
 Из минусов:
 - городить костыль.
 Из плюсов:
 - доступ к своим региональным azure есть из всех регионов и он получше, чем наши каналы связи.
 - судя по всему похожий механизм  всё равно нужен будет для передачи трассировок и логов в центр, так что плюсом будет являться единый механизм для передачи данных.


Может есть идеи получше?

Подскажите по Prometheus и memory usage
на сервере 8 Гб. Пром кушает 5 Гб (RES)
Но согласно доке. Как так получилось?

The default value of storage.local.target-heap-size is 2GiB and thus tailored to 3GiB of physical memory usage.

Какая версия прометеуса у вас?

2.12.0

Подскажите по Prometheus и memory usage
на сервере 8 Гб. Пром кушает 5 Гб (RES)
Но согласно доке. Как так получилось?

The default value of storage.local.target-heap-size is 2GiB and thus tailored to 3GiB of physical memory usage.

флаг storage.local.target-heap-size есть только в версиях 1.х

в 2.х версиях прома потребление памяти зависит от количества активных временных рядов, по которым приходят новые данные, и от частоты опроса этих рядов. См. https://www.robustperception.io/how-much-ram-does-prometheus-2-x-need-for-cardinality-and-ingestion - там есть даже калькулятор для подсчета необходимой памяти.

всем привет!

remote_write:
  - url: http://<victoriametrics-addr>:8428/api/v1/write
    queue_config:
      max_samples_per_send: 10000
      max_shards: 30

если я настрою prometheus на хранение метрик в Виктории, то данные перестанут храниться в prometheus locale storage?

всем привет!

remote_write:
  - url: http://<victoriametrics-addr>:8428/api/v1/write
    queue_config:
      max_samples_per_send: 10000
      max_shards: 30

если я настрою prometheus на хранение метрик в Виктории, то данные перестанут храниться в prometheus locale storage?

всем привет!

remote_write:
  - url: http://<victoriametrics-addr>:8428/api/v1/write
    queue_config:
      max_samples_per_send: 10000
      max_shards: 30

если я настрою prometheus на хранение метрик в Виктории, то данные перестанут храниться в prometheus locale storage?

нет, более того: если у тебя есть алармы какие-то, то данные в проме должны храниться как минимум самое большое время, которое нужно для рассчёта алармов