AS
вы в прометей вставляете sflow ?
Size: a a a
2020 August 12
v(
вы в прометей вставляете sflow ?
нет конечно, я это написал вот к чему
>не думаю что импорт апи тут вообще при делах. он для разовых вставок
>не думаю что импорт апи тут вообще при делах. он для разовых вставок
v(
Импорт вполне подходит для регулярных вставок данных.
AS
ok. спасибо что поделились
МК
Импорт вполне подходит для регулярных вставок данных.
И кеш вы тоже регулярно чистите, после каждой вставки?
v(
И кеш вы тоже регулярно чистите, после каждой вставки?
У меня вставляются метрики с таймстампом не более чем минутной давности.
b
зависит от того что нужно. Скорее всего bioyino может помочь, но можно писать все подряд и в carbonapi делать highestЧтоНибудь (там разные варианты есть)
Похоже что bioyino не подойдет, потому что протокол не поддерживает что-либо кроме путей к метрикам и собственно числовых значений для этих метрик.
Может существует готовый прокси UDP -> Clickhouse, желательно с клиентом для Питона?
Может существует готовый прокси UDP -> Clickhouse, желательно с клиентом для Питона?
AV
Получается я не смогу агентом писать в прометеус, мне там нужно обезатьльно настраивать викторию метрикс?
Vmagent может записывать данные в любое хрвнилище, поддерживающее prometheus remote write API - см. список таких систем вот тут - https://prometheus.io/docs/operating/integrations/#remote-endpoints-and-storage
VS
Похоже что bioyino не подойдет, потому что протокол не поддерживает что-либо кроме путей к метрикам и собственно числовых значений для этих метрик.
Может существует готовый прокси UDP -> Clickhouse, желательно с клиентом для Питона?
Может существует готовый прокси UDP -> Clickhouse, желательно с клиентом для Питона?
ну тогда я задачу не понимаю как бы )
b
ну тогда я задачу не понимаю как бы )
Ну как же - есть вот стек из
Стек посоветовали здесь же, но меня очень удивило что тут не получатся считать уникальные ИП адреса или юзерагенты, не разговаривая с Кликхаузом напрямую.
bioyino, carbon-clickhouse, clickhouse, graphite-clickhouse, carbonapi, grafana. Как в Clickhouse складывать всякие реквест логи с вебсерверов и кравлеров?Стек посоветовали здесь же, но меня очень удивило что тут не получатся считать уникальные ИП адреса или юзерагенты, не разговаривая с Кликхаузом напрямую.
VS
Ну как же - есть вот стек из
Стек посоветовали здесь же, но меня очень удивило что тут не получатся считать уникальные ИП адреса или юзерагенты, не разговаривая с Кликхаузом напрямую.
bioyino, carbon-clickhouse, clickhouse, graphite-clickhouse, carbonapi, grafana. Как в Clickhouse складывать всякие реквест логи с вебсерверов и кравлеров?Стек посоветовали здесь же, но меня очень удивило что тут не получатся считать уникальные ИП адреса или юзерагенты, не разговаривая с Кликхаузом напрямую.
а, логи это не про метрики
VS
и собственно ваще не в этот канал
b
а, логи это не про метрики
ха, я так и думал!
VS
ха, я так и думал!
я тебя тогда не так понял, я думал тебе нужно просто topN значений выводить по тонне метрик
VS
и с этим и carbonapi и bioyino справятся (чуть по-разному)
b
а, логи это не про метрики
А вот картинка которую я раньше вбрасывал - на ней логи или метрика?
b
Наверное это следует называть метрикой на логах
VS
Наверное это следует называть метрикой на логах
ну это визуализация по логам, поэтому в любое место где логи обсуждают
S
на ней иллюстрация работы макроса $columns от плагина clickhouse-grafana
S
Наверное это следует называть метрикой на логах
да, это realtime аггегация распаршеных в кликхаус логов