GB
raise AirflowFailException
https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/exceptions.html
https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/exceptions.html
Size: a a a
2021 April 16
IL
ага спасибо
2021 April 19
JS
Подскажите пожалуйста, вопрос простой, можно ли каждый день запускать DAG в конкретные часы, то есть 1 dag в 1 час ночи, другой в другой час...
JS
просто меня коллега убеждает, что все даги стартуют в одно время, я вникать не стал, а сейчас засомневался
ЕЦ
Конечно, там для каждого дага свое расписание задаётся
DN
ME
Ну, у нас дневные в полночь стартуют, но это не мешает задать другое время)
JS
да, у нас даги динамически создаются, видимо в этом надо вникать(мне)
ME
основеное это start_date и schedule_interval
ME
и там запускается по прошествии заданной даты, а не при наступлении
ME
это основное недопонимание процесса запуска дагов, которое бывает
А
Поставил AIRFLOW__CORE__DAG_CONCURRENCY = 16
AIRFLOW__CELERY__WORKER_AUTOSCALE = 16,8
Начали сыпаться вот такие ошибки. С чем это может быть связано?
AIRFLOW__CELERY__WORKER_AUTOSCALE = 16,8
Начали сыпаться вот такие ошибки. С чем это может быть связано?
[queued]>, dependency 'Task Instance Slots Available' FAILED: The maximum number of running tasks (12) for this task's DAG 'mytask-id' has been reached.
ME
12 дагранов бегут одновременно?
JS
не понял, как понять, по прошествии
ME
если поставить дату старта 1 января и дейли, то первый раз оно запустится 2 января, когда данные за 1 будут уже