VS
max_active_runs - это вот это AIRFLOW__CORE__MAX_ACTIVE_RUNS_PER_DAG?
Size: a a a
2020 November 12
VS
И не прописан AIRFLOW__CORE__DAG_CONCURRENCY, который тоже не плохо бы поменять под свои критерии
K
max_active_runs - это вот это AIRFLOW__CORE__MAX_ACTIVE_RUNS_PER_DAG?
ага
VS
Konstantin
ага
тогда 1 это ппц как странно, у вас очереди будут дикие
VS
начните собирать хотя бы метрики и постройте график загруженности
VS
что-то из этой темы
VS
по такому графику сразу сможете найти узкие места для тюнинга шедулера и воркеров
GB
О, это через statsd?
VS
эти метрики берутся из коробки через statsd
K
тогда 1 это ппц как странно, у вас очереди будут дикие
не, сори, стоп, это настройка в даге чтоб больше одной таски не бежали в даге
GB
Konstantin
не, сори, стоп, это настройка в даге чтоб больше одной таски не бежали в даге
Эта настройка в даге контролирует, сколько даг ранов может быть запущено одновременно, не тасков
K
по такому графику сразу сможете найти узкие места для тюнинга шедулера и воркеров
хорошо, спасибо за помощь)
VS
Если надо, могу скинуть настройку меппинга для statsd-exporter под prometheus, там есть свои тараканы, как это преобразовать, стартовую большую работу я уже провел
GB
Если надо, могу скинуть настройку меппинга для statsd-exporter под prometheus, там есть свои тараканы, как это преобразовать, стартовую большую работу я уже провел
О, мне очень нужно)
Есть задача собирать время даг-ранов (и время работы тасков), чтобы дэшборд собирать из этого потом, большинство воркфлоу для сторонних клиентов, хотим понимать примерные показатели для биллинга
Есть задача собирать время даг-ранов (и время работы тасков), чтобы дэшборд собирать из этого потом, большинство воркфлоу для сторонних клиентов, хотим понимать примерные показатели для биллинга
K
Эта настройка в даге контролирует, сколько даг ранов может быть запущено одновременно, не тасков
max_active_runs defines how many running concurrent instances of a DAG there are allowed to be.
У нас же есть даг, в даге есть таск инстансты, в которых мы прописываем таски
И получется max_active_runs показывате сколько таск инстансов может параллельно в даге бежать
разве нет?
У нас же есть даг, в даге есть таск инстансты, в которых мы прописываем таски
И получется max_active_runs показывате сколько таск инстансов может параллельно в даге бежать
разве нет?
GB
Konstantin
max_active_runs defines how many running concurrent instances of a DAG there are allowed to be.
У нас же есть даг, в даге есть таск инстансты, в которых мы прописываем таски
И получется max_active_runs показывате сколько таск инстансов может параллельно в даге бежать
разве нет?
У нас же есть даг, в даге есть таск инстансты, в которых мы прописываем таски
И получется max_active_runs показывате сколько таск инстансов может параллельно в даге бежать
разве нет?
instances of a DAGK
ну да, инстансы дага 😟