С
Более того: логи != метрики != трейсинг
Более того: логи != метрики != трейсинг != жареная картошечка
Size: a a a
2020 May 06
A
Более того: логи != метрики != трейсинг != жареная картошечка
Вот сразу видно опытного человека!
AS
так что если вам для жироньки на 5 юзеров. не ставьте его на мониторинг. от инфры больше устанете
IE
а если не для жиры, то вы сами всё знаете, да?
AS
нет. то поделитесь. мне интересно :)
IE
меня больше беспокоит, что https://github.com/vozlt/nginx-module-vts 2 года не шевелился
AS
меня больше беспокоит, что https://github.com/vozlt/nginx-module-vts 2 года не шевелился
ему пока не зачем.
DS
Anton Patsev
Ну если нужно метрики только под эндпойтам и лейблы не меняются, тогда и Prometheus подойдёт. Но обычно этим не ограничивается
в clickhouse логи писать с nginx тоже будет веселое занятие. Там же буфер нужен. Накапливать например по 10K записей и писать за раз (рекомендация clickhouse).
nginx-log-collector как это делает? Если там будет приличный RPS он не упрется в ограничения clickhouse?
nginx-log-collector как это делает? Если там будет приличный RPS он не упрется в ограничения clickhouse?
С
Зависит от соотношения "приличность rps / мощности под кликхаус"
OL
Пишите в кафку, кафка умеет батчем писать в кликхаус
DS
меня больше беспокоит, что https://github.com/vozlt/nginx-module-vts 2 года не шевелился
работает норм. На 1.16 сейчас его юзаю
С
Кафка не умеет. Это кликхаус умеет батчем из неё читать.
AP
в clickhouse логи писать с nginx тоже будет веселое занятие. Там же буфер нужен. Накапливать например по 10K записей и писать за раз (рекомендация clickhouse).
nginx-log-collector как это делает? Если там будет приличный RPS он не упрется в ограничения clickhouse?
nginx-log-collector как это делает? Если там будет приличный RPS он не упрется в ограничения clickhouse?
Он как раз пишет по 10к. В clickhouse говорят можно литьь миллион метрик... В минуту или секунду. Ну в общем много. В чате про clickhouse подробнее расскажут
OL
Кафка не умеет. Это кликхаус умеет батчем из неё читать.
Да, я неверно написал
DS
Зависит от соотношения "приличность rps / мощности под кликхаус"
без разницы сколько там мощностей. clickhouse в логи будет орать что-то типо: не делайте больше 300 запросов в секунду в меня (https://clickhouse.tech/docs/en/introduction/performance/#throughput-when-processing-a-large-quantity-of-short-queries)
С
nginx-log-collector как раз делает буфер
DS
nginx-log-collector как раз делает буфер
это хорошо
AS
короче нет проблем с батчинком для вставки в кх
AS
даже сам нжинкс может буферизовывать логи. только я не знаю в 2020 году для этого кейсов