b
на ней иллюстрация работы макроса $columns от плагина clickhouse-grafana
Угу, я из доков плагина это и взял. Думаю только чем по UDP отправлять эти самые хиты в Clickhouse.
Size: a a a
2020 August 12
S
Угу, я из доков плагина это и взял. Думаю только чем по UDP отправлять эти самые хиты в Clickhouse.
почему обязательно по UDP?
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
b
почему обязательно по UDP?
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
Оо, спасибо, похоже это то что нужно!
Мне это вообще не для логов посетителей, а для тысячи кравлеров которым лучше не мешать лишними TCP диалогами. Там суть похожа на хттп логи, только наоборот: ип прокси сервера, юзернейм, юзерагент, хедер сет, ИД эксперимента, статус код сервера и тому подобное -- за всем этим хочу следить и рисовать в Графане.
Мне это вообще не для логов посетителей, а для тысячи кравлеров которым лучше не мешать лишними TCP диалогами. Там суть похожа на хттп логи, только наоборот: ип прокси сервера, юзернейм, юзерагент, хедер сет, ИД эксперимента, статус код сервера и тому подобное -- за всем этим хочу следить и рисовать в Графане.
b
почему обязательно по UDP?
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
ну пишите модуль для nginx
и receiver на golang
либо никакого UDP
а пост обработка логи в JSON в syslog/файл
и через какой нибудь https://vector.dev в clickhouse сливайте
в клике аггрегируйте через Materialized View
и на основную таблицу TTL настройте чтобы не пухла и старые данные стирала...
А эта штука может заменить bioyino? Похоже на то.
S
Оо, спасибо, похоже это то что нужно!
Мне это вообще не для логов посетителей, а для тысячи кравлеров которым лучше не мешать лишними TCP диалогами. Там суть похожа на хттп логи, только наоборот: ип прокси сервера, юзернейм, юзерагент, хедер сет, ИД эксперимента, статус код сервера и тому подобное -- за всем этим хочу следить и рисовать в Графане.
Мне это вообще не для логов посетителей, а для тысячи кравлеров которым лучше не мешать лишними TCP диалогами. Там суть похожа на хттп логи, только наоборот: ип прокси сервера, юзернейм, юзерагент, хедер сет, ИД эксперимента, статус код сервера и тому подобное -- за всем этим хочу следить и рисовать в Графане.
так, стопе, вам надо какие то произвольные метрики снимать из КОДА ПРИЛОЖЕНИЯ?
тогда PINBA на клиенте
и ее реализация на clickhouse
https://github.com/pinba-server/pinba-server
https://github.com/ClickHouse-Ninja/Proton
они правда оба не сильно живые
код краулеров обмазывайте как хотите
https://github.com/badoo/pinba2#client-libraries
тогда PINBA на клиенте
и ее реализация на clickhouse
https://github.com/pinba-server/pinba-server
https://github.com/ClickHouse-Ninja/Proton
они правда оба не сильно живые
код краулеров обмазывайте как хотите
https://github.com/badoo/pinba2#client-libraries
b
так, стопе, вам надо какие то произвольные метрики снимать из КОДА ПРИЛОЖЕНИЯ?
тогда PINBA на клиенте
и ее реализация на clickhouse
https://github.com/pinba-server/pinba-server
https://github.com/ClickHouse-Ninja/Proton
они правда оба не сильно живые
код краулеров обмазывайте как хотите
https://github.com/badoo/pinba2#client-libraries
тогда PINBA на клиенте
и ее реализация на clickhouse
https://github.com/pinba-server/pinba-server
https://github.com/ClickHouse-Ninja/Proton
они правда оба не сильно живые
код краулеров обмазывайте как хотите
https://github.com/badoo/pinba2#client-libraries
а чем нынче yaml-программисты это делают?
b
вообще очень круто, похоже это то что нужно!
S
а чем нынче yaml-программисты это делают?
что ЭТО ?
обмазывают код метриками и трейсами?
вы определитесь что именно вы хотите
код ваших краулеров вы контроллируете или нет?
обмазывают код метриками и трейсами?
вы определитесь что именно вы хотите
код ваших краулеров вы контроллируете или нет?
b
что ЭТО ?
обмазывают код метриками и трейсами?
вы определитесь что именно вы хотите
код ваших краулеров вы контроллируете или нет?
обмазывают код метриками и трейсами?
вы определитесь что именно вы хотите
код ваших краулеров вы контроллируете или нет?
Да, код полностью контролируем! Из кода вот хочу отправлять произвольные метрики по UDP, все верно!
S
Да, код полностью контролируем! Из кода вот хочу отправлять произвольные метрики по UDP, все верно!
тогда PINBA + clickhouse
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
I
Всем привет! А как прометею сделать высокую доступность? Не хочется терять алерты при падении одного из прометеев. Танос или федераты?
AS
Всем привет! А как прометею сделать высокую доступность? Не хочется терять алерты при падении одного из прометеев. Танос или федераты?
два прометея поднимайте, два алертманагера. каждый с каждым связывайте. вот и всё
I
а метрики как собирать? явно дупликацию делать?
ZA
Привет всем. Есть counter, как посчитать приращение с полуночи?
KK
Привет всем. Есть counter, как посчитать приращение с полуночи?
https://groups.google.com/forum/m/#!topic/prometheus-users/6lQAtkhwBpk
Сорри, с телефона, поэтому такой ссылкой
Сорри, с телефона, поэтому такой ссылкой
AS
а метрики как собирать? явно дупликацию делать?
Оба прома собирают все метрики
I
а алертменеджеры не будут в такой конфигурации дублировать алерты разве?
KK
два прометея поднимайте, два алертманагера. каждый с каждым связывайте. вот и всё
Это по два алёрта получать на одно событие, получается?
AN
если их объеденить в кластер то не будут
KK
Спасибо и извините за дубль