Size: a a a

2021 April 19

ME

Max Efremov in Airflow
т.е. дейли запускается в начале следующего дня, монсли - в начале слующего месяца и т.д,
источник

ME

Max Efremov in Airflow
Я сам не сразу понял и писал про это в чатик, когда начинал)
источник

JS

John Smith in Airflow
не очень, ясно, спасибо
источник

ME

Max Efremov in Airflow
тип, почему ставлю 1 января, а оно первого не запустилось)
источник

А

Александр in Airflow
нет, 1 даг
источник

А

Александр in Airflow
В целом задача стоит чтобы на 1 даг запускать не больше 12 воркеров, а воркеров может быть сколь угодно, пока это 16
источник

SG

Sergey Gavrilov in Airflow
Всем привет! Подскажите, у кого развёрнут Аерфлоу в Кубере, как вы решили проблему с тем, что логи не те передаются во время работы таска?
источник

ME

Max Efremov in Airflow
Мы селери в докере разворачивали, логи те)
источник

ME

Max Efremov in Airflow
Были только траблы с доменными именами воркеров
источник

SG

Sergey Gavrilov in Airflow
Я имею в виду KubernetesExecutor
источник

DN

Dmitriy Novikov in Airflow
Всем привет, а какие есть механизмы ограничить потребление ресурсов Airflow?
источник

AP

Anton Patsev in Airflow
Подскажите, как в kubernetes executor указать кастомный image?
источник

SG

Sergey Gavrilov in Airflow
Мнэээээээ, да я сам с проблемой вроде как... Но вообще, указывайте в pod_template_что-то там .yaml
источник

SG

Sergey Gavrilov in Airflow
У меня не работает как положено, потому как-то странно вообще его обсуждать
источник

AP

Anton Patsev in Airflow
Я пока запускаю в шедулере в k8s как local executor потому что еще не разобрался
источник

А

Александр in Airflow
В докере можно ограничить так же можно ограничить кол. воркеров
источник

DN

Dmitriy Novikov in Airflow
Докер это пнтн, интересно именно airflow. ОК пнл спасибо попробую.
источник

SG

Sergey Gavrilov in Airflow
В самом аерфлоу есть только механизм пулов
источник

DN

Dmitriy Novikov in Airflow
Вот про это видел, но ничего полезного не нашел, почитать.
источник

SG

Sergey Gavrilov in Airflow
Да там только документация. Их суть проста - даёшь воркерам тэги (это и есть пулы), и назначаешь нужным таскам, которые должны исполняться на этих воркерах, такие же.
источник