AS
а алертменеджеры не будут в такой конфигурации дублировать алерты разве?
Там есть протокол согласования кто будет отправлять алерт
Size: a a a
2020 August 12
I
окей. посмотрю
I
то есть алертменеджеры умеют в кластер собираться? круто
AS
то есть алертменеджеры умеют в кластер собираться? круто
Ну я бы не стал называть это кластером. Они просто умеют договариваться об очеордности и задержках
I
респект! только хотел спросить, в какую сторону гуглить
b
тогда PINBA + clickhouse
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
Спасибо, почитаю про пимбу.
Тем временем заметил что только часть ивентов отображается в Графане. Ради теста вызывал вот это в цикле из Питона 100 раз, и запускал 16 раз сам скрипт с небольшими промежутками в т-ии часа:
Графана показывает 600 вместо 1600 по этому запросу: su
Тем временем заметил что только часть ивентов отображается в Графане. Ради теста вызывал вот это в цикле из Питона 100 раз, и запускал 16 раз сам скрипт с небольшими промежутками в т-ии часа:
for _ in range(0, 100):
statsd.incr('testing.increments')
Графана показывает 600 вместо 1600 по этому запросу: su
mmarize(testing.increments, '1h', 'sum', false)
Сверил настройки MTU в bioyino, carbon-clickhouse и на сервере, везде 1500. Спайка дропнутых фреймов не замечаю, в чем может быть дело?b
К слову, когда запускаю реальный скрипт который увеличивает счетчик 1000 раз, то такое чувство что до интерфейса Графаны доходят только 10% инкрементов счетчика. Логически пропорции ивентов такие же как я и ожидал, но суммы вообще и близко не дотягивают до тех которые реально должны быть.
Что там может дропать эти счетчики? Стек на пике, конфиги практически копипейст из репо от lomik.
Что там может дропать эти счетчики? Стек на пике, конфиги практически копипейст из репо от lomik.
vk
К слову, когда запускаю реальный скрипт который увеличивает счетчик 1000 раз, то такое чувство что до интерфейса Графаны доходят только 10% инкрементов счетчика. Логически пропорции ивентов такие же как я и ожидал, но суммы вообще и близко не дотягивают до тех которые реально должны быть.
Что там может дропать эти счетчики? Стек на пике, конфиги практически копипейст из репо от lomik.
Что там может дропать эти счетчики? Стек на пике, конфиги практически копипейст из репо от lomik.
мы гоняли тесты по 1 000 000 каунтеров батчами по 100 000 каждые 5 сек в 24 потока и в результате получали свою метрику рястянутую по времени с 1кк в сумме
vk
У био есть собственные метрики, по ним хорошо видно сколько событий в него влетает и сколько метрик он из них генерирует. Даже статистикаа по префиксам есть, чтобы было понятно какой процесс/сервис начал отправлять миллионы метрик
b
У био есть собственные метрики, по ним хорошо видно сколько событий в него влетает и сколько метрик он из них генерирует. Даже статистикаа по префиксам есть, чтобы было понятно какой процесс/сервис начал отправлять миллионы метрик
спасибо, посмотрю что он там наотправлял
b
У био есть собственные метрики, по ним хорошо видно сколько событий в него влетает и сколько метрик он из них генерирует. Даже статистикаа по префиксам есть, чтобы было понятно какой процесс/сервис начал отправлять миллионы метрик
упс, что-то не сходится
b
Правильно ли я вижу, что тут влетают 100
incr('testing.increment'), он их агрегирует и на выхлоп дает incr('testing.increment', 100)?vk
что именно? к тебе прилетают события в количестве ~26к из которых генерится ~1k метрик
vk
на графиках RPM?
b
на графиках RPM?
Не знаком с термином, сорри. Деш стандартный из вот этой связки форка lomik. Квери к ингресс графику такой:
aliasByNode(resources.monitoring.bioyino.ingress*, 3)vk
Не знаком с термином, сорри. Деш стандартный из вот этой связки форка lomik. Квери к ингресс графику такой:
aliasByNode(resources.monitoring.bioyino.ingress*, 3)подебажем что у тебя там в личке
AS
Переслано от Artem Navoiev
good news everyone - https://github.com/VictoriaMetrics/operator открыт в публичный доступ, проект рабочий но доработки напилньком требует (особенно доки)
благодарю @f41gh7 @k1rk_t за то что сделали это :) Тестирование и контрибьюшен очень привествуется
благодарю @f41gh7 @k1rk_t за то что сделали это :) Тестирование и контрибьюшен очень привествуется
2020 August 13
S
Спасибо, почитаю про пимбу.
Тем временем заметил что только часть ивентов отображается в Графане. Ради теста вызывал вот это в цикле из Питона 100 раз, и запускал 16 раз сам скрипт с небольшими промежутками в т-ии часа:
Графана показывает 600 вместо 1600 по этому запросу: su
Тем временем заметил что только часть ивентов отображается в Графане. Ради теста вызывал вот это в цикле из Питона 100 раз, и запускал 16 раз сам скрипт с небольшими промежутками в т-ии часа:
for _ in range(0, 100):
statsd.incr('testing.increments')
Графана показывает 600 вместо 1600 по этому запросу: su
mmarize(testing.increments, '1h', 'sum', false)
Сверил настройки MTU в bioyino, carbon-clickhouse и на сервере, везде 1500. Спайка дропнутых фреймов не замечаю, в чем может быть дело?правильно пиНба ;) пиМба на носу или еще где нибудь вскочит если не правильно термины употреблять :)
checkbox extrapolate выключите в Grafana в query editor и идите в query inspector результаты сверять
ну и generated SQL посмотрите запустите его в clickhouse-client посмотрите результаты
checkbox extrapolate выключите в Grafana в query editor и идите в query inspector результаты сверять
ну и generated SQL посмотрите запустите его в clickhouse-client посмотрите результаты
PR
тогда PINBA + clickhouse
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
ссылки я привел
ну либо PINBA2 + MySQL
либо клиент opentracing.io + jaeger + https://github.com/jaegertracing/jaeger/issues/1438
о, в пинбу добавили CH, прикольно. Мы ее на MySQL гоняли, классная штукенция