AK
До компа доберусь
Size: a a a
2020 May 01
BD
До компа доберусь
🤝
A
Всем привет! Пытаюсь отладить доставку сообщений из alertmanager в opsgenie. Большинство проходит, но иногда
Как отладить - не понимаю.
component=dispatcher msg="Notify for alerts failed" num_alerts=13 err="cancelling notify retry for \"opsgenie\" due to unrecoverable error: unexpected status code 422: {\"message\":\"Request body is not processable. Please check the errors.\",\"errors\":{\"priority\":\"should be one of [ P1, P2, P3, P4, P5 ]\"}Как отладить - не понимаю.
A
Вот например почему num_alerts=13? В веб интерфейсе alertmanager не вижу таких больших пачек запросов одновременно. Да и вообще группировка отключена:
group_by: ['...']GM
группировка тебя как раз и спасает от спама
A
Группировка - добро, но назад я её включать буду только добившись стабильности в доставке сообщений.
GM
группировка тебя как раз и спасает от спама
но 422, это не 429 так что дело именно в том что ты туда шлешь
A
Вооот! И как посмотреть, что я шлю?
A
--log.level=debug не показываетGM
Вооот! И как посмотреть, что я шлю?
поставить вместо урлы опс джини что-нибудь принимающее вебхуки например Но скорее всего дело в опциях алертменеджера там были изменения в синтаксиса конфигурации, покажи кусок конфига и версию ам
A
alertmanager 0.20.0
GM
ну или локально что то подобное поставить
A
receivers:
- <hidden>
- name: opsgenie
opsgenie_configs:
- api_key: <hidden>
message: <...> {{ template "opsgenie.default.message" . }}
priority: '{{ range .Alerts }}{{ .Labels.priority }}{{ end }}'
source: prometheus
tags: prometheus,<hidden>,{{ range .Alerts }}{{ .Labels.tags }},{{ end }}AN
priority: '{{ range .Alerts }}{{ .Labels.priority }}{{ end }}' проблему вот тутAN
отслыает когда 1 алерт не отсылает когда больше чем 1
AN
потому что будет
priority: P1P1P1 ...GM
навскидку еще легко может быть проблема с "tags" там бывают в апи изменения, чуть раньше teams переделали например
A
priority: '{{ range .Alerts }}{{ .Labels.priority }}{{ end }}' проблему вот тутТак, это я вижу. Починить не удаётся:
1) Пытаюсь оторвать группировку (
1) Пытаюсь оторвать группировку (
group_by: ['...']) — проблема остаётсяAN
```
priority: '{{ .Alerts[0].Labels.priority }}'
```
priority: '{{ .Alerts[0].Labels.priority }}'
source: prometheus
tags: {{ range .Alerts }}{{ .Labels.tags }},{{ end }},prometheus,<hidden>```