В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Церковь метрик

2364 membersпожаловаться на группу
2019 December 30

AS

Aleksey Shirokikh in Церковь метрик
vladimir kolobaev
Если мы на лету их парсим, нормализуем, и отправляем в статсд в виде событий, а потом с помощью функции отображаем только время ответа тех ручек, количество обращений к которым больше N, это постаналитика или предзнание?
ну и кстати как вы отслеживаете в такой схеме baseline ?
источник
18:25пожаловаться#1

AS

Aleksey Shirokikh in Церковь метрик
предполагаю что у вас должны быть рваные графики
источник
18:25пожаловаться#2

vk

vladimir kolobaev in Церковь метрик
Aleksey Shirokikh
ну и кстати как вы отслеживаете в такой схеме baseline ?
Не понял!
источник
18:26пожаловаться#3

AS

Aleksey Shirokikh in Церковь метрик
vladimir kolobaev
Не понял!
если вы мониторите только загруженные ручки то у вас обязательно будут ручки на грани. между не мониторить и мониторить. для них то надо скидывать в statsd то нинадо
источник
18:27пожаловаться#4

AS

Aleksey Shirokikh in Церковь метрик
в итоге график будет либо врать либо рваный
источник
18:28пожаловаться#5

vk

vladimir kolobaev in Церковь метрик
В Графите есть функция aboveSeries() - которая возвращает весь временной ряд значение которого, в указанном интервале, хотя бы раз превышало указанное значение. Этот подход нам позволяет возвращать серии целиком, не отфильтровывая точки.
источник
18:28пожаловаться#6

AS

Aleksey Shirokikh in Церковь метрик
но секундочку у вас не будет точек ниже границы ведь вы их выкинули до того как прислали в графит ?
источник
18:29пожаловаться#7

AS

Aleksey Shirokikh in Церковь метрик
или же вы всё таки собираете все и потом отрисоываете только те которые выше?
источник
18:29пожаловаться#8

vk

vladimir kolobaev in Церковь метрик
Aleksey Shirokikh
в итоге график будет либо врать либо рваный
В статсд мы отправляем все точки без какой либо фильтрации
источник
18:29пожаловаться#9

vk

vladimir kolobaev in Церковь метрик
А фильтруем уже на стороне графита
источник
18:30пожаловаться#10

DS

Dmitry Sergeev in Церковь метрик
vladimir kolobaev
Если мы на лету их парсим, нормализуем, и отправляем в статсд в виде событий, а потом с помощью функции отображаем только время ответа тех ручек, количество обращений к которым больше N, это постаналитика или предзнание?
А можете подробней схему описать? Сколько rps на балансерах, и сколько ресурсов требуется, чтобы обработать эти логи, нормализовать и отправить куда-то в виде метрик? Как быстро они доезжают? Я просто пока с такими задачами не сталкивался, везьде где была хоть какая-то нагрузка, достаточно было логов ошибок и долгих запросов.
источник
18:30пожаловаться#11

AS

Aleksey Shirokikh in Церковь метрик
vladimir kolobaev
В статсд мы отправляем все точки без какой либо фильтрации
тогда это типичная постаналитика. вы собрали все и потом уже отрисовали top
источник
18:30пожаловаться#12

AS

Aleksey Shirokikh in Церковь метрик
vts вполне так даст сделать. но согласен поток может быть очень большим
источник
18:30пожаловаться#13

AS

Aleksey Shirokikh in Церковь метрик
особенно если их и правда миллион
источник
18:30пожаловаться#14

AS

Aleksey Shirokikh in Церковь метрик
с другой стороны так получается дешевле ибо nginx-у ничего этого знать не надо.
источник
18:32пожаловаться#15

AS

Aleksey Shirokikh in Церковь метрик
лог формат поправил и раскидал по нужным инстансам
источник
18:32пожаловаться#16

vk

vladimir kolobaev in Церковь метрик
Dmitry Sergeev
А можете подробней схему описать? Сколько rps на балансерах, и сколько ресурсов требуется, чтобы обработать эти логи, нормализовать и отправить куда-то в виде метрик? Как быстро они доезжают? Я просто пока с такими задачами не сталкивался, везьде где была хоть какая-то нагрузка, достаточно было логов ошибок и долгих запросов.
Логов у нас примерно 16 млн_строк/мин. Парсеры стоят прямо хостах рядом с nginx. Каждый жрет примерно   5% одного ядра. Все логи отправляются в виде события: "нормализованная_ручка: время_ответа|ms", в статсд-кластер. В результате чего, через 30сек(интервал сбора метрик) попадают в Графит
источник
18:37пожаловаться#17

DS

Dmitry Sergeev in Церковь метрик
vladimir kolobaev
Логов у нас примерно 16 млн_строк/мин. Парсеры стоят прямо хостах рядом с nginx. Каждый жрет примерно   5% одного ядра. Все логи отправляются в виде события: "нормализованная_ручка: время_ответа|ms", в статсд-кластер. В результате чего, через 30сек(интервал сбора метрик) попадают в Графит
то есть 266K RPS прилетает в сумме по всем серверам.
А что за парсеры, и почему так мало жрут?
источник
18:38пожаловаться#18

AS

Aleksey Shirokikh in Церковь метрик
а зачем им вообще парсить если можно сделать friendly строки
источник
18:40пожаловаться#19

AS

Aleksey Shirokikh in Церковь метрик
и парсинг сведется в string.split("|")
источник
18:41пожаловаться#20