или если сайленс на 60 минут, то он и не проверяет - есть он ещё или нет и просто висит всё это время?

Только если сайленс протухнет

понял, спасибо. я просто привык к логике работы karma с kthxbye, а там сайленсы короткие

коллеги а вы не тестили на сколько opsgenie может быстро в хартбиты ? такое ощущение что минимум в районе 5 минут

мы тоже через karma работаем с сайленсами

а у вас есть какая ниб система/костыли для эскалации алертов? например, если в теч n-мин алерт висит и никто им не занялся, то отправлять в иной чат/почту?

нет, объёмы не те, команда небольшая, некуда нам эскалировать :)

вы точно хорошо эту логику продумали? не окажется потом, что все алерты будут эскалироваться? потому что зачем их брать в работу, если потом другой человек этим займётся. Можно пойти от обратного - взять условного "смотрящего", который видит, что алерт пришёл повторно и бьёт по голове ответственного, штрафует, ещё что-то с ним делает. Глядишь со временем и эскалировать не придётся

ха....если следущим по истечению 30 минут для эскалации будет злой нчальник, то тот, кому придет первым алерт, сразу возьмет в работу)))

group_interval я забыл :(

Привет ребят, нужно переписать значение одного лейбла в экспортере для прометеуса, никто не знает как это сделать?

он меняет лейбл же, а не значение

а. ну отдавай нужное значение

как его отдавать, если экспортер даёт не нужное?) в экспортере кубера подставляется адрес, а не хостнейм

а пром откуда его узнает?

и значение лейбла тоже можно менять

кто-нибудь сталкивался с утечкой памяти в самописном экспортере на питоне для прометеуса?

за основу был взять prometheus_client (https://github.com/prometheus/client_python)
по примерам из инета сделал экспортер примерно таким образом:

class CustomCollector(object):
    def __init__(self):
        pass
    def collect(self):
        g = GaugeMetricFamily("MemoryUsage", 'Help text', labels=['instance'])
        g.add_metric(["instance01.us.west.local"], 20)
        yield g

if __name__ == '__main__':
    start_http_server(8000)
    REGISTRY.register(CustomCollector())
    while True:
        time.sleep(1)

запустил, все работает, запустил скрейпинг непрерывно на тест, выяснилось, что есть утечка памяти, после 2000 скрейпов потребление RAM выросло с 13 до 20 Мб, запустил 20000 скрейпов, сейчас в процессе, потребление RAM уже 60Мб
в коде prometheus_client внутри метода add_metric вызывается append: https://github.com/prometheus/client_python/blob/c49e55a244acde7d4879b7fba2a130019656fb35/prometheus_client/metrics_core.py#L126
то есть внутри класса хранится вся история сбора метрик (вместо того, чтобы перезаписывания)

кто-нибудь сталкивался с таким?

Делаю экспортер на golang. Не могу понять разницы между отсылкой описаний из метода Describe и без этого, т.е. созданием прямо в Collect и описания, и метрики. Я вижу даже в node_exporter и так, и так. Не понимаю разницы. В доке вот тут:
https://pkg.go.dev/github.com/prometheus/client_golang/prometheus#hdr-Custom_Collectors_and_constant_Metrics

есть какое-то описание про очистку чего=то, чего я не совсем понимаю

надо реестр каждый раз заново создавать