Size: a a a

Церковь метрик

2020 August 11

N

Navern in Церковь метрик
Coffee
Привет) В свежих версиях прометея есть возможность определять критический размер диска, при подходе к которому старые данные будут подчищаться.

В старых версиях была подобная опция только для оперативы. можно было задать значение, при подходе к которому было сбрасывание данных из оперативы на диск. Но потом это убрали.

Общалась с разрабами на этот счет, типо, как так вышло и почему нужную вещь убрали. Они "аргументировали" тем, что типо прометей не будет отъедать больше оперативы, чем ему нужно. (то есть они предполагают, что теперь если хочешь чтоб у тебя оперативы отъедалось меньше - скрейпи только те метрики, которые тебе нужны, что типо следи за этим. идиотская идея, как по мне, потому что а что, если мне нужны все метрики, и у меня дохренища подов, с которых всё собирается? Мне инстанс с 64гб оперативы арендовать предлагаете? Ну ведь это безумие)

Вместе с этим они в прометее захардкодили переменную storage.tsdb.min-block-duration и некоторые другие, которые бы могли помочь уменьшить хотя бы время за которое формируются блоки, которые в итоге переезжают из оперативы на хард. То есть они предполагают, что всё будет храниться в оперативе, грубо говоря.

Я в расстройстве и негодовании. Кто как с этой хренью сжился/поборолся? Я совсем не хочу урезать метрики, которые скрейпить с подов (((
А проблема в итоге именно в том, что не хочется большой инстанс брать для мониторинга?
источник

AS

Aleksey Shirokikh in Церковь метрик
аа. надо ужаться типа.. понятно ну вот потенциально да. vmagent
источник

C

Coffee in Церковь метрик
Navern
А проблема в итоге именно в том, что не хочется большой инстанс брать для мониторинга?
во-первых, что самое критичное - это редкие даунтаймы, прометею вечно надо больше ресурсов)) хоть у него уже инстанс в 32гига. По моим подсчетам этого должно было хватить, еще и с запасом, а по факту - нет.
во-вторых, да, большой инстанс конечно неоч хочется по причине денег.
источник

C

Coffee in Церковь метрик
ща читаю, спасибо
источник

C

Coffee in Церковь метрик
еще подойду разок
источник

C

Coffee in Церковь метрик
другой
источник

AS

Aleksey Shirokikh in Церковь метрик
расчет колва памяти на вставку у прома есть на сайте браена.
есть еще расчет памяти на выборки.
но толку от всех этих расчетов если рано или позно кто то высталяет в графане период в год и рефреш в 5 секунд
источник

AS

Aleksey Shirokikh in Церковь метрик
и этот момент со стороны прома не управляется
источник

AS

Aleksey Smirnov in Церковь метрик
для такого случая можно перед промом кэширующий прокси поставить
источник

AS

Aleksey Smirnov in Церковь метрик
я даже концепты видел такие, но актуального сейчас с ходу названия не скажу
источник

AS

Aleksey Smirnov in Церковь метрик
источник

AS

Aleksey Smirnov in Церковь метрик
а хотя скажу, вот выглядит свежим - https://github.com/tricksterproxy/trickster
источник

AS

Aleksey Shirokikh in Церковь метрик
этот мёртв.
источник

AS

Aleksey Smirnov in Церковь метрик
ну тут главное не конкретная реализация, а сама концепция, написать можно и самим если прям сильно нужно
источник

AS

Aleksey Shirokikh in Церковь метрик
а этот жив и используется. однако проблема котрую они решают немного в другом. они позволяют разгрузить прометей от отдачи уже готовых данных.
выборку придется сделать всё равно. а с учетом периода в 5с данные просто не получится вымыть из оперативки
источник

N

Navern in Церковь метрик
трикстер же на селекты
источник

AS

Aleksey Smirnov in Церковь метрик
Aleksey Shirokikh
а этот жив и используется. однако проблема котрую они решают немного в другом. они позволяют разгрузить прометей от отдачи уже готовых данных.
выборку придется сделать всё равно. а с учетом периода в 5с данные просто не получится вымыть из оперативки
я так понял что данные из твоего примера с дашбордом за год - он закеширует и будет из кэша отдавать, а в пром пойдут только запросы каждые 5 сек за последними данными
источник

AU

Anton Ustiuzhanin in Церковь метрик
Коллеги всем привет! подскажите плз, можно ли для алерта (Prometheus: Alertmanager) настроить repeat_interval: или только глобально в роутах и роутить потом по тегу или названию?
источник

AS

Aleksey Shirokikh in Церковь метрик
Anton Ustiuzhanin
Коллеги всем привет! подскажите плз, можно ли для алерта (Prometheus: Alertmanager) настроить repeat_interval: или только глобально в роутах и роутить потом по тегу или названию?
repeat_interval аттрибут маршрута.
вы можешь сделать маршртут на основе любого лейбла в том числе alertname
источник

AU

Anton Ustiuzhanin in Церковь метрик
Aleksey Shirokikh
repeat_interval аттрибут маршрута.
вы можешь сделать маршртут на основе любого лейбла в том числе alertname
Спасибо
источник