IK
Шина просто
Size: a a a
2021 July 23
EB
так а почему сразу не в графит или инфлукс
IK
Нужно метрики слать из небезопасной сети, откуда давать прямой доступ в общее хранилище сильно не хочется
IK
Дать доступ на запись в кафку видится хорошим решением
EB
платно (скорее всего сильно платно) и недоступно в РФ _
EB
а какая разница, пушить в кафку или пушить сразу метрики?
v(
метрики не надо слать, их надо оттуда забирать
У прометея pull модель.
Так что можно спокойно дергать ручки на экспортерах в сетях за периметром.
У прометея pull модель.
Так что можно спокойно дергать ручки на экспортерах в сетях за периметром.
IK
Понятно, что у прометея pull, но в моем случае как раз больше подходит push
IK
Push в проме тоже можно сделать, насоклько знаю
TF
или в вектор
TF
уж лучше через victoriametrics , vmagent
IK
Думаю над этим
IK
Вот кейс:
есть сеть, где хранятся метрики и ведется аналитика
Есть сотни сетей, где живут хосты, на которых живут приложения, отдающие метрики. Количество хостов и их адреса меняются во времени.
С пулл моделью нужно пропиливать доступ до каждой сети и каждой машины, для части приложений генерить сертификаты и менеджить их (etcd например).
С пуш моделью я на каждом хосте ставлю агент, который пишет в шину, а на другом конце я из шины собираю все, что пришло.
Да, это менее эффективно, чем пулл, но зато значительно проще в обслуживании при большом флоте машин и сложной сетевой топологии
есть сеть, где хранятся метрики и ведется аналитика
Есть сотни сетей, где живут хосты, на которых живут приложения, отдающие метрики. Количество хостов и их адреса меняются во времени.
С пулл моделью нужно пропиливать доступ до каждой сети и каждой машины, для части приложений генерить сертификаты и менеджить их (etcd например).
С пуш моделью я на каждом хосте ставлю агент, который пишет в шину, а на другом конце я из шины собираю все, что пришло.
Да, это менее эффективно, чем пулл, но зато значительно проще в обслуживании при большом флоте машин и сложной сетевой топологии
v(
В конце концов можно самому написать консьюмера.
Строчек 100 кода питон/голанг и пушить в VM через remote write или import, либо отдавать в ресте для vmagent.
Писал такое чтобы забирать sflow статистику(сильно агрегированную) из кафки и пихать в VM.
Строчек 100 кода питон/голанг и пушить в VM через remote write или import, либо отдавать в ресте для vmagent.
Писал такое чтобы забирать sflow статистику(сильно агрегированную) из кафки и пихать в VM.
IK
Это да, думал просто, что есть готовое и протестированое решение
N
кейс похожий на то с чем столкнулась percona в pmm
https://www.percona.com/blog/2020/12/01/foiled-by-the-firewall-a-tale-of-transition-from-prometheus-to-victoriametrics/
Можно еще попробовать использовать telegraph, он умеет в kafka push и pull
https://www.percona.com/blog/2020/12/01/foiled-by-the-firewall-a-tale-of-transition-from-prometheus-to-victoriametrics/
Можно еще попробовать использовать telegraph, он умеет в kafka push и pull
IK
Спасибо!
AN
Народ использует пуш через телеграф и кафку в вм полёт нормальный