S
так давно это и тянется, еще задолго до моего прихода
а то вот что у прокси есть
It uses a consistent hashring to send the unique metric names to the same StatsD instances so that the aggregation works properly.Size: a a a
2021 February 04
С
и в кластере они гарантируют уникальность каждой полученной метрики?
а то вот что у прокси есть
а то вот что у прокси есть
Это вроде шардирование, если не путаю. Т.е. если нода падает, половины метрик за период не будет.
S
так давно это и тянется, еще задолго до моего прихода
и наплодили кучу геораспределенных standalone statsd))) при чем сначала запросы идут с одного статсд, потом на геораспределенный, агрегируются и потом только в графит
vk
Да я тоже так понял, что если у тебя N статсд серверов, то прокси балансирует отправку одних и тех же метрик на конкретные инстансы статсд, чтобы они как раз не дублировались на соседних серверах и не затирали друг друга
S
Это вроде шардирование, если не путаю. Т.е. если нода падает, половины метрик за период не будет.
ну пока с одной игрался нодой, перезапускал её, выпадала постоянно из таргета(зафлудило сильно амазоновский резолвер) метрики +- при этом шли какие-то, полностью не ослеп
vk
Всё эти инстансы и прокси можно заменить одним bioyino.
vk
Он умеет работать как агент, размещенный локально на сервере с вашим приложением, получать данные по udp, и высылать предагрегированные пакеты по tcp в мастер-ноду(ы).
vk
А мастера там уже сами решат кто из них лидер, и кто будет отправлять материки в графит/Викторию/etc
S
Он умеет работать как агент, размещенный локально на сервере с вашим приложением, получать данные по udp, и высылать предагрегированные пакеты по tcp в мастер-ноду(ы).
та вот от локальности хочется уйти, чтоб было децентрализовано и после прохождения в один статсд просто пушилось дальше в графит без лишнего гемороя и каруселей
S
А мастера там уже сами решат кто из них лидер, и кто будет отправлять материки в графит/Викторию/etc
сколько железа кстати у тебя задействовано под такое количество метрик? о которых писал
vk
та вот от локальности хочется уйти, чтоб было децентрализовано и после прохождения в один статсд просто пушилось дальше в графит без лишнего гемороя и каруселей
Тогда там будет udp, а с агентом tcp. Но мы начали внедрять агентов после 400 миллионов в минуту где-то.
vk
сколько железа кстати у тебя задействовано под такое количество метрик? о которых писал
Агенты на тачках с кубом живут, там же где и докеры с сервисами. А мастера на 3х серверах, для отказоустойчивости. Чтобы можно было спокойно кластер обновлять и выводить любой из них из боя и на метриках это никак не сказывалось.
vk
При этом там утилизация серверов ~15%.
vk
У нас есть статья на Хабре, если будет интересно можешь почитать: https://m.habr.com/en/company/avito/blog/354714/
S
У нас есть статья на Хабре, если будет интересно можешь почитать: https://m.habr.com/en/company/avito/blog/354714/
о спасиб!
я как раз перевожу параллельно со спотовой обычной инфры в кубовскую
хочу с куба вынести костыльный statsd с каруселью и чтоб как раз приложения слали напрямую куда надо на внешнюю проксю
я как раз перевожу параллельно со спотовой обычной инфры в кубовскую
хочу с куба вынести костыльный statsd с каруселью и чтоб как раз приложения слали напрямую куда надо на внешнюю проксю
vk
о спасиб!
я как раз перевожу параллельно со спотовой обычной инфры в кубовскую
хочу с куба вынести костыльный statsd с каруселью и чтоб как раз приложения слали напрямую куда надо на внешнюю проксю
я как раз перевожу параллельно со спотовой обычной инфры в кубовскую
хочу с куба вынести костыльный statsd с каруселью и чтоб как раз приложения слали напрямую куда надо на внешнюю проксю
Ну вот не нужны больше никакие прокси. 1 кластер решает эти проблемы. Начинать использовать агентов рекомендую, чуть раньше чем начнёте во что то упираться. Мы к примеру начали упираться в пропускную способность сетевого оборудования.
VS
та вот от локальности хочется уйти, чтоб было децентрализовано и после прохождения в один статсд просто пушилось дальше в графит без лишнего гемороя и каруселей
мне если честно интересно, почему никто (с виду) не пытался класть графитные метрики (сырые) в кликхаус, с малым ретеншеном, а потом сбоку налабать аггрегатор который делал бы запрос в КХ за промежуток и из этого уже новую метрику?
vk
мне если честно интересно, почему никто (с виду) не пытался класть графитные метрики (сырые) в кликхаус, с малым ретеншеном, а потом сбоку налабать аггрегатор который делал бы запрос в КХ за промежуток и из этого уже новую метрику?
Для этого даже агрегатор с боку не нужен, делаешь матвьюху с движком AggregatingMergeTree, и получаешь нужные данные рилтайм.
2021 February 05
VS
Для этого даже агрегатор с боку не нужен, делаешь матвьюху с движком AggregatingMergeTree, и получаешь нужные данные рилтайм.
аггрегатор может потенциально более сложную логику делать чем матвьюха
vk
аггрегатор может потенциально более сложную логику делать чем матвьюха
Да, и именно поэтому все используют statsd ;)