Теперь я вижу популярно стало опрашивать как это Прометей делает. Но неужели никаких плюсов у statsd протокола нет перед прометеем, в плане простоты?

конечно есть. смотри про монарх, держи в голове викторию

А из графаны можно как-то подсунуть время старт-стоп изнутри самого графика, а не целого дешборда?)

ЕМНИП графана покажет то что ей графит вернет. Но вот я не помню функций переписывающих время, их несложно написать опять же )

про монарх впервые слышу, гугл на monarch metrics выдает сайт из нулевых

Ох окей спс, не буду заморачиваться тогда)

и я б сказал что что у графита, что у прома и виктории есть некоторые сходства в подходах, но не во всем

Хочу сказать что StatsD не прибит гвоздями к Графиту, и тому как пример куча statsd-exporter

Что же касается самого Графита, то от него остался протокол и обширная библиотека функций.
Вся обвязка переписана на go, а в место whisper файлов используется ClickHouse, с репликацией, шардидирование и кучей движков для таблиц под хранение тегов, имен метрик, значений и т.п.

Ну а StatsD в свою очередь позволяет агрегировать данные на лету, и это дает возможность хранить только агрегаты без массива сырых данных, которые нужно считать на стороне сервера-метрик (без разницы какого).
У нас к примеру сейчас обрабатывается 1 миллиард StatsD событий в минуту.

Яж вашими микросервисами и пользуюсь с лета 😊

Не стал заморачиваться с прометеем тк у нас не контейнеры и не хотелось морочаться с опрашиванием каждого процесса который запускается по крону на какой угодно машине, причем по несколько копий. Про пуш гейтвей в курсе, но тут вообще все плюсы отпадают по сравнению с вашим сетапом который оч просто скалируется.

а сколько ЧПУ под bioyino у вас задействовано?

точнее ядер*

У нас для отказоустойчивости подняты 3 мастер-ноды (bioyino). По 56 ядер в каждом. Утилизированы они по 15% в пики по CPU. Помимо них, у нас на всех кубовых нодах с сервисами, живет по 1 statsd-агенту, который принимает весь поток событий с этой конкретной ноды, предагрегирует что может, и раз в секунду отправляет семпл данных по TCP, на мастер ноды. Вот на них утилизация примерно 10% - 15% от 1 ядра.

Ого! А нод сколько всего у вас?

И самый главный вопрос: как у вас правила роллапов сделаны? Я отчаялся и просто напилил регулярок в rollup.xml, а так же доделал наш статсд клиент чтоб он добавлял суффикс в зависимости от типа метрики: .gauge, .sum, .avg.

Недавно еще была хвалебная статья про Кликхауз на HN, мне ее двое коллег прислали и такие: вау да действительно ты хорошую штуку установил! 🤣

Под Графит 12 серверов, под StatsD 3. Но это вообще копейки по сравнению с booking, у них еще год назад серверов 300 под Графитом было.

rollup правила у нас очень простые:

        <default>
                <function>avg</function>
                <retention>
                        <age>0</age>
                        <precision>30</precision>
                </retention>
                <retention>
                        <age>3024000</age>
                        <precision>300</precision>
                </retention>
        </default>

спасибо, похоже на

It is recommended upgrading Prometheus to v2.12.0 or newer, since previous versions may have issues with remote_write.