`{__name__=~"abc_.+_latency"}` - как то так но могу напутать с регуляркой

Спасибо, сэкономили кучу времени-)

О, я это видел где-то, понял значит в том направлении копаю)
Спасибо!

Добрый вечер, друзья, возникла потребность в сборе метрик, остановился на Prometheus. Я так понял что high availability реализовать возможно путём увеличения кол-ва инстансов Prometheus? Ибо ничего про кластеризацию не сказано.

так и есть

Благодарю 😉

я тоже задавался таким вопросом, и ушел в victoriametrics отказавшись от prometheus )

Коллеги, я немного с трейсингом влезу, если позволите

Есть задача сделать распределенный трейсинг при том, что запрос проходит через несколько разных ДЦ.
Варианты, приходящие на ум:
- единый коллектор, в который все ходят по внутренней (или не очень сети). Так делать не хочется, ибо канал засрут трейсы
- распределенные коллекторы (в каждом ДЦ), а построение трейса с выборкой из всех коллекторов, чтобы он данные стягивал по id и сам объединял
- федерация коллекторов (по одному в каждом ДЦ), чтобы они сами умели объединять данные, а сверху обычный трейсер строит трейс

Проблема в том, что я не знаю, возможны ли второй или третий варианты вообще. Подскажите, что существует на эту тему

Сейчас юзаем jaeger на эластике, которые в это не умеют, насколько понимаю

на самом деле есть боли с облаками со всеми этими

и боль называется расчёт slo

ага ага, а уж с селфхостедом эти сла сло улетают в ...

привет. а кто нить делал схему с одним Thanos на два кластера, в которых по 2 реплики Prometheus. т.е. у меня сейчас такая проблема, что на 2 sidecar смотрит один Service и когда я в таносе рефрешу метрику, отображается то один кластер, то другой

как вообще правильно строить такие кластера с таносом?

А расскажите подробней?

Я наверное не до конца понимаю сам сценарий

тысячи подобных генераторов https://github.com/slok/sloth
генерируют правила согласно https://sre.google/workbook/alerting-on-slos/#6-multiwindow-multi-burn-rate-alerts
правил получается много и они расчитывают на то что предыдущее уже расчитано. но все эти облака такой гарантии не предоставляют.
и частенько оказывается что колво запросов которые подставляются в соотношение не верное.
потому что колво хороших запросов больше чем колво всего запросов.
в таком случае sli сначала оказывается больше единицы, а потом меньше единицы. но больше единицы это пофик а меньше единицы — сгорает slo

🤔 посмотрю в это поподробней, спасибо

виктория например не гарантирует и даже скорее гарантирует отсутствие такого порядка исполнения. что заставляет городить вокруг огород

о, вот так понятней