В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Церковь метрик

2364 membersпожаловаться на группу
2019 December 30

A

Andor in Церковь метрик
Yzzzi
Ну в данном случе это не имеет смысла т.к. , если будет штормить кластер -> будет штормить внутренний прометей -> внешний прометей будет получать кривые метрики. Но вообще полная федерация ведь удваивает нагрузку на пром(насколько я знаю), а он и без того, собака, прожорливый.
Это всё понятно, но непонятно как это относится к изначальному вопросу
источник
18:11пожаловаться#1

DS

Dmitry Sergeev in Церковь метрик
Andrey Afoninskiy
балансеры aws только умеют в cloudwatch отдавать метрики глобальные а-ля "счетчик ошибок / запросов" и класть логи в s3 bucket раз в 5 минут
мне же нужно пилить более тонкие метрики а-ля "сколько ошибок на специфичном урле" или "перцентиль задержи для сервиса users"
для этого приходится парсить логи и генерировать метрики из них
Очень очень грустно, и как жить с этим, когда привык к vts, или ingress в кубе =)
источник
18:12пожаловаться#2

A

Andrey Afoninskiy in Церковь метрик
зато в процессе тестирования разных сервисов у меня теперь есть блямбда которая умеет и в датадог, и клаудвотч, и ханикамб, и пром, и статсд, и вообще обфусцирует логи... правда хз зачем :)
источник
18:12пожаловаться#3

vk

vladimir kolobaev in Церковь метрик
Dmitry Sergeev
ну для банальной задачи, посчитать количество разных кодов ответа, оверкилл как по мне.
А там по ручкам время ответа нужно считать - это уже не очень банальная задача
источник
18:12пожаловаться#4

DS

Dmitry Sergeev in Церковь метрик
vladimir kolobaev
А там по ручкам время ответа нужно считать - это уже не очень банальная задача
да не сложно, в том же vts, пилишь map для ручек, делаешь vhost_...by_key твоя переменная из map. И получаешь response_time для каждой ручки из map. И все это в проме, а не в тоннах логах.
источник
18:14пожаловаться#5

AS

Aleksey Shirokikh in Церковь метрик
yep
источник
18:15пожаловаться#6

Y

Yzzzi in Церковь метрик
Andor
Это всё понятно, но непонятно как это относится к изначальному вопросу
также, как и твой ответ 🤷‍♂️
источник
18:16пожаловаться#7

vk

vladimir kolobaev in Церковь метрик
Dmitry Sergeev
да не сложно, в том же vts, пилишь map для ручек, делаешь vhost_...by_key твоя переменная из map. И получаешь response_time для каждой ручки из map. И все это в проме, а не в тоннах логах.
А если у тебя миллион ручек и ты хочешь заперформить только те, к которым больше 100 обращений в мин?
источник
18:16пожаловаться#8

A

Andrey Afoninskiy in Церковь метрик
Dmitry Sergeev
да не сложно, в том же vts, пилишь map для ручек, делаешь vhost_...by_key твоя переменная из map. И получаешь response_time для каждой ручки из map. И все это в проме, а не в тоннах логах.
проблема возникнет когда ручек сильно много и надо чтоб их снаружи незнающие люди обновляли
источник
18:16пожаловаться#9

AS

Aleksey Shirokikh in Церковь метрик
vladimir kolobaev
А если у тебя миллион ручек и ты хочешь заперформить только те, к которым больше 100 обращений в мин?
это постаналитика. либо предзнание
источник
18:17пожаловаться#10

AS

Aleksey Shirokikh in Церковь метрик
если постаналитика то только по логам. если предзнание не вижу проблемы
источник
18:17пожаловаться#11

DS

Dmitry Sergeev in Церковь метрик
vladimir kolobaev
А если у тебя миллион ручек и ты хочешь заперформить только те, к которым больше 100 обращений в мин?
для большинства задач хватает. Я лично делаю в основном такое для популярных или тормозных ручек. Причём можно же их с группировать.
источник
18:18пожаловаться#12

DS

Dmitry Sergeev in Церковь метрик
Логи просто требуют много ресурсов, а это не всегда нужно
источник
18:19пожаловаться#13

A

Andor in Церковь метрик
Yzzzi
также, как и твой ответ 🤷‍♂️
Мой ответ был не про федерацию и не про remote_write
источник
18:20пожаловаться#14

vk

vladimir kolobaev in Церковь метрик
Aleksey Shirokikh
это постаналитика. либо предзнание
Если мы на лету их парсим, нормализуем, и отправляем в статсд в виде событий, а потом с помощью функции отображаем только время ответа тех ручек, количество обращений к которым больше N, это постаналитика или предзнание?
источник
18:21пожаловаться#15

Y

Yzzzi in Церковь метрик
Andor
Мой ответ был не про федерацию и не про remote_write
и правда, извиняюсь, но в чём смысл чисто пром мониторить? изначальный вопрос как раз таки не про это был)
источник
18:22пожаловаться#16

DS

Dmitry Sergeev in Церковь метрик
Dmitry Sergeev
Логи просто требуют много ресурсов, а это не всегда нужно
просто обидно что aws не даёт такое делать. Очень много можно решить только с помощью метрик, логи конечно тоже нужны. Но бывает достаточно только логов ошибок и долгих запросов. А это сильно экономит ресурсы
источник
18:22пожаловаться#17

A

Andor in Церковь метрик
Yzzzi
и правда, извиняюсь, но в чём смысл чисто пром мониторить? изначальный вопрос как раз таки не про это был)
Смысл в том, чтобы видеть, когда есть проблема и не верить данным за это время
Ну и/или ждать когда remote_write во внешнее хранилище доедет
источник
18:24пожаловаться#18

AS

Aleksey Shirokikh in Церковь метрик
vladimir kolobaev
Если мы на лету их парсим, нормализуем, и отправляем в статсд в виде событий, а потом с помощью функции отображаем только время ответа тех ручек, количество обращений к которым больше N, это постаналитика или предзнание?
постаналитика imho. ты всё равно собираешь данные по логам и это сложный пайплайн для деланья всё того же.
источник
18:25пожаловаться#19

vk

vladimir kolobaev in Церковь метрик
Aleksey Shirokikh
постаналитика imho. ты всё равно собираешь данные по логам и это сложный пайплайн для деланья всё того же.
👌
источник
18:25пожаловаться#20