ME
Если он умеет параллельно то параллельно
Size: a a a
2021 March 08
JF
От экзекьютора зависит)
А для каждого конкретного дага можно настроить тип экзекьютера?
ME
А для каждого конкретного дага можно настроить тип экзекьютера?
Вроде нет, он в целом для аирфлоу
ME
А если надо последовательно, почему бы так не сдалать сразу?
JF
А если надо последовательно, почему бы так не сдалать сразу?
Да дело в том что как раз нужно параллельно. Причем с оговорками. Например чтобы настраивалось количество допустимых параллельно запущенных тасков runme. Например не больше 5 параллельно, а всего их может быть сотня. Я прочитал про Local executor, что он умеет в параллелизм, но это для всех тасков сразу, а мне надо ограничить кол-во параллельно запущенных именно runme
ME
Да дело в том что как раз нужно параллельно. Причем с оговорками. Например чтобы настраивалось количество допустимых параллельно запущенных тасков runme. Например не больше 5 параллельно, а всего их может быть сотня. Я прочитал про Local executor, что он умеет в параллелизм, но это для всех тасков сразу, а мне надо ограничить кол-во параллельно запущенных именно runme
посмотрите пулы
ME
они как раз для этого
JF
они как раз для этого
Понятно, спасибо.
Получается, что для СиквеншалЭкзекьютора количество слотов пула - не имеет значения, т.к. все равно таски запускаются по одному?
Получается, что для СиквеншалЭкзекьютора количество слотов пула - не имеет значения, т.к. все равно таски запускаются по одному?
ME
Понятно, спасибо.
Получается, что для СиквеншалЭкзекьютора количество слотов пула - не имеет значения, т.к. все равно таски запускаются по одному?
Получается, что для СиквеншалЭкзекьютора количество слотов пула - не имеет значения, т.к. все равно таски запускаются по одному?
по сути да, но пул он же не знает об экзекьюторе)
AA
Вроде нет, он в целом для аирфлоу
Мне казалось, что можно для разных пулов назначать разные экзекьюторы, но сам так не делал
JF
по сути да, но пул он же не знает об экзекьюторе)
В документации написано про
self.parallelism - где это прописывать? прямо в airflow.cfg self.parallelism = 3 ?ME
В документации написано про
self.parallelism - где это прописывать? прямо в airflow.cfg self.parallelism = 3 ?это у экзекьютора?
AA
Мне казалось, что можно для разных пулов назначать разные экзекьюторы, но сам так не делал
Сюда по документации - может быть только один экзекьютор, так что отбой
JF
это у экзекьютора?
https://airflow.apache.org/docs/apache-airflow/stable/executor/local.html
Да вот не пойму у кого это и где
Да вот не пойму у кого это и где
ME
тоже не очень понял, это в классе экзекьютора такое есть, наследуется от базового...
ME
AIRFLOW__CORE__PARALLELISM, вроде эта опция
ME
т.е. можно при локал экзекьюторе задать parallelism=1 и получить сиквнтал)
ME
не понятно зачем, но можно
ME
dag_concurrency ещё интересная опция, можно задавать на каждый даг