AS
SaaS for Continuous Profiling
Size: a a a
2021 February 09
N
В
Народ, а кто нибудь тут мониторит бекапы с помощью prometheus?
напишите свой экпортер или складывайте метрики в файл (как советовали выше), натравите на него прометеус и все
AV
У кого-то на примете есть статьи о производительности запросов в прометее? Хочу понять насколько плохо допустим, если запрос смотрит на месяц назад. И как это вообще оценивать.
статьи нет ( Если в двух словах, то время выполнения запроса в прометее складывается из двух основных частей:
1) Время на поиск рядов по заданным фильтрам, к которым относятся имена метрик плюс фильтры по лейблам. Например,
2) Время на обработку точек в найденных рядах. Чем больше точек в найденных рядах, тем медленнее будет выполняться запрос. Количество точек зависит от следующих параметров:
- от количества найенных рядов на шаге 1 - чем больше рядов, тем больше точек.
- от scrape interval'а для найденных рядов - чем меньше scrape interval, тем больше точек.
- от интервала, на котором выполняется запрос - чем больше интервал, тем больше точек.
Скорость обработки точек зависит от применяемых в запросе функций и от количества запрошенных точек, которые должен вернуть запрос. Графана обычно запрашивает столько точек, сколько пикселей на графике по горизонтали. Самые "тяжелые" функции - те, для которых нужно делать вычисления по всем оригинальным точкам на lookbehind интервале, указанном в квадратных скобках. Например, это holt_winters() и quantile_over_time(). Эти вычисления нужно повторять независимо для каждой возвращаемой из запроса точки. Поэтому чем больше интервал в квадратных скобках и чем больше точек возвращает запрос, тем дольше будет выполняться запрос.
1) Время на поиск рядов по заданным фильтрам, к которым относятся имена метрик плюс фильтры по лейблам. Например,
foo{bar="baz",x=~"a|b.+c"} - тут foo - фильтр по имени метрики, а bar="baz" и x=~"a|b.+c" - фильтры по лейблам bar и x. Поиск рядов работает примерно так - находятся отдельные ряды по каждому из указанных в запросе фильтру, после чего находятся общие ряды, присутствующие во всех фильтрах. Чем больше рядов может быть найдено по одному из указанных фильтров, тем медленнее будет выполняться поиск. Фильтры по регекспам обычно выполняются медленее фильтров по полному совпадению.2) Время на обработку точек в найденных рядах. Чем больше точек в найденных рядах, тем медленнее будет выполняться запрос. Количество точек зависит от следующих параметров:
- от количества найенных рядов на шаге 1 - чем больше рядов, тем больше точек.
- от scrape interval'а для найденных рядов - чем меньше scrape interval, тем больше точек.
- от интервала, на котором выполняется запрос - чем больше интервал, тем больше точек.
Скорость обработки точек зависит от применяемых в запросе функций и от количества запрошенных точек, которые должен вернуть запрос. Графана обычно запрашивает столько точек, сколько пикселей на графике по горизонтали. Самые "тяжелые" функции - те, для которых нужно делать вычисления по всем оригинальным точкам на lookbehind интервале, указанном в квадратных скобках. Например, это holt_winters() и quantile_over_time(). Эти вычисления нужно повторять независимо для каждой возвращаемой из запроса точки. Поэтому чем больше интервал в квадратных скобках и чем больше точек возвращает запрос, тем дольше будет выполняться запрос.
N
статьи нет ( Если в двух словах, то время выполнения запроса в прометее складывается из двух основных частей:
1) Время на поиск рядов по заданным фильтрам, к которым относятся имена метрик плюс фильтры по лейблам. Например,
2) Время на обработку точек в найденных рядах. Чем больше точек в найденных рядах, тем медленнее будет выполняться запрос. Количество точек зависит от следующих параметров:
- от количества найенных рядов на шаге 1 - чем больше рядов, тем больше точек.
- от scrape interval'а для найденных рядов - чем меньше scrape interval, тем больше точек.
- от интервала, на котором выполняется запрос - чем больше интервал, тем больше точек.
Скорость обработки точек зависит от применяемых в запросе функций и от количества запрошенных точек, которые должен вернуть запрос. Графана обычно запрашивает столько точек, сколько пикселей на графике по горизонтали. Самые "тяжелые" функции - те, для которых нужно делать вычисления по всем оригинальным точкам на lookbehind интервале, указанном в квадратных скобках. Например, это holt_winters() и quantile_over_time(). Эти вычисления нужно повторять независимо для каждой возвращаемой из запроса точки. Поэтому чем больше интервал в квадратных скобках и чем больше точек возвращает запрос, тем дольше будет выполняться запрос.
1) Время на поиск рядов по заданным фильтрам, к которым относятся имена метрик плюс фильтры по лейблам. Например,
foo{bar="baz",x=~"a|b.+c"} - тут foo - фильтр по имени метрики, а bar="baz" и x=~"a|b.+c" - фильтры по лейблам bar и x. Поиск рядов работает примерно так - находятся отдельные ряды по каждому из указанных в запросе фильтру, после чего находятся общие ряды, присутствующие во всех фильтрах. Чем больше рядов может быть найдено по одному из указанных фильтров, тем медленнее будет выполняться поиск. Фильтры по регекспам обычно выполняются медленее фильтров по полному совпадению.2) Время на обработку точек в найденных рядах. Чем больше точек в найденных рядах, тем медленнее будет выполняться запрос. Количество точек зависит от следующих параметров:
- от количества найенных рядов на шаге 1 - чем больше рядов, тем больше точек.
- от scrape interval'а для найденных рядов - чем меньше scrape interval, тем больше точек.
- от интервала, на котором выполняется запрос - чем больше интервал, тем больше точек.
Скорость обработки точек зависит от применяемых в запросе функций и от количества запрошенных точек, которые должен вернуть запрос. Графана обычно запрашивает столько точек, сколько пикселей на графике по горизонтали. Самые "тяжелые" функции - те, для которых нужно делать вычисления по всем оригинальным точкам на lookbehind интервале, указанном в квадратных скобках. Например, это holt_winters() и quantile_over_time(). Эти вычисления нужно повторять независимо для каждой возвращаемой из запроса точки. Поэтому чем больше интервал в квадратных скобках и чем больше точек возвращает запрос, тем дольше будет выполняться запрос.
Круто, спасибо за такой подробный ответ
RK
В
поделитесь опытом - интервал скрейпа на нагруженном web-сервисе
AS
Вадим
поделитесь опытом - интервал скрейпа на нагруженном web-сервисе
15s
В
чаще смысла не имеет?
AS
Вадим
чаще смысла не имеет?
зависит. но в целом нет не нужно
В
зависит. но в целом нет не нужно
спасибо
AS
у нас была полемика между 10 и 15. остановились на 15.
AS
если менять то на 2-3s
AS
но это довольно дорого и помогает для очень редких случаев
В
у нас была полемика между 10 и 15. остановились на 15.
а какие аргументы были и почему победило 15?
В
но это довольно дорого и помогает для очень редких случаев
понял - основной вопрос объемы данных
IE
у нас была полемика между 10 и 15. остановились на 15.
лучше 13, чтобы было некратно минуте
В
лучше 13, чтобы было некратно минуте
а чем это лучше? почему нужно не кратно минуте?
AS
Вадим
а какие аргументы были и почему победило 15?
от этого интервала строится всё остальное.
бюджет на хранение метрик, нагрузка на опрос.
минимальный интервал алертинга.
время реакции всяких hpa на основе прометея
бюджет на хранение метрик, нагрузка на опрос.
минимальный интервал алертинга.
время реакции всяких hpa на основе прометея