Денис, Алексей, спасибо.
Ушёл разбираться)

Привет! Не релевантно проблеме, но хотел ещё заметить что запросы, содержащие 4 звезды - потенциально очень опасны. Если генератор метрик вдруг сойдёт с ума и начнёт генерить неконтролируемое число метрик по всем четырем веткам то в рамках автоматического опрашивания значений по заданному пути может привести к большой нагрузке на систему

Да, с этим согласны. К сожалению, бизнес и эксплуатация часто придерживаются противоположных точек зрения. Затраты на разработку/рефакторинг метрик довольно  сложно обосновать с точки зрения возможного наступления негативного последствия на системы мониторинга в будущем. Но мы к этому стремимся.
Спасибо.

Алексей, спасибо. movingAverage решил поставленную задачу )

Хоп хей, всем метрик!
Предлагаю подбить результаты договорённостей на hl++, выстроить РоадМап и закинуть его на github!
Я начну (Хотим):

1. Эскалации (PR от нас) - а там допилите чтобы было красиво

2. Функции графита: baseline, baselineAbberations (PR должны быть где то в carbonapi)

3. Webhooks из коробки, как тип канала уведомлении

4. Pending-interval - ожидаем n секунд до перевода триггера в иное состояние (пример: хочу получать уведомления только когда все плохо в течение 5 минут, но функции графита накручивать не хочу! Дайте!)

5. Группировка триггеров - тут все не однозначно, но делать всё-равно надо.

6. Лейблы(prometheus) - за этим счастьем всегда ходим в Графит. Прокидываем запросы и получаем результаты ничего не подменяя

Если что нить ещё вспомню по вышлю отдельно.

Заведу issue в гитхаб, как до компа доберусь

Про лейблы не очень понятно, надо будет обсудить.

Мойра обещает стать еще лучше)
👍

Всем привет! После HighLoad пришло много народу, возможно кто-то из вас захочет попробовать Мойру в деле. Я знаю, что у нас не идеальная документация, поэтому если вам будет что-то непонятно, или что-то не заведется с первого раза, то пишите сюда. Поможем.

привет. а такое предложение, те триггеры которые на мэйнтенансе можно, на главной как то помечать?

привет. Эта задача уже в работе :)

круто)

Всем привет!

Пытаюсь собрать сетап с мойрой, сейчас выглядит так:

collectd ---> carbon-cache ---> whatever
   \ ----> moira

В логах мойры вижу странное и непонятное:

filter_1_d0f9adf513be | 2018-12-02 08:37:53.571 filter INFO cannot parse input: non-ascii or non-printable chars in metric name: 'collectd.do-lo-docker-0-node-5.cpu-2.cpu-interrupt 0 1543739873'
filter_1_d0f9adf513be | 2018-12-02 08:37:53.571 filter INFO cannot parse input: non-ascii or non-printable chars in metric name: 'collectd.do-lo-docker-0-node-5.cpu-3.cpu-system 7.299852 1543739873'
filter_1_d0f9adf513be | 2018-12-02 08:37:53.571 filter INFO cannot parse input: non-ascii or non-printable chars in metric name: 'collectd.do-lo-docker-0-node-5.cpu-2.cpu-softirq 0.199993 1543739873'

Пробовал и такой сетап:

collectd ---> carbon-relay ---> carbon-cache ---> whatever
                            \ ----> moira

Те-же ошибки.

Согласно сообщению из гиттера:

Timur Kamaev @kamaev Oct 29 2017 10:19
@AVShutov, Moira сама по себе не десериализирует pickle, ей нужен plaintext. Возможность отправки pickle можно реализовать на уровне ресивера (используемый carbon relay), если он может обрабатывать полученные pickle и переводить в "<metricString> <valueFloat64> <timestampInt64>"
-- все должно работать. ЧЯДНТ?

Скорее всего в строках переносы строк виндовые, а такое не работает

Привет! Да, тут чтото с отправителем (collectd), нужно узнать что он по факту отправляет,
потестить можно вот этим кодом:

https://play.golang.org/p/qJcfkBS3m1m

вставив ту строку, что отправляется вместо myMetricIs в 10 строчке

Проверю, но странно - запущено-то оно на Ubuntu.

Пока-что решил через docker-carbon-relay-ng - он нормально пересылал.

Да, в collectd это захардкожено так.

Добрый вечер, коллеги 🙂 кто уже имеет успешный опыт по прикручиванию мойры к прометеусу?

Мойра умеет ходить за метриками в графит. Графит, с недавних пор научился принимать и хранить метрики прома, с учётом лейблов. Мы добавили пару функций в апи графита (carbonapi - fork) которые позволяют запрашивать метрики по лейблам (seriesByTag,aliasByTag). Используя совместно все вышеперечисленные вещи, мы смогли построить алертинг по метрика прома из Мойры