Size: a a a

2021 May 27

AK

Andrew Konstantinov in Airflow
ok
источник

ME

Max Efremov in Airflow
Выключить его выключателем?
источник

ДН

Дмитрий Негреев... in Airflow
тогда шедулер будет игнорировать его вообще и не будет запускать upstream таски после выполненной
источник

Y

Yuz in Airflow
Здравствуйте, кто может пояснить что делают эти задачи в даге?
источник

Y

Yuz in Airflow
complex_dag_fun_1 = BashOperator(
   task_id='starter',
   bash_command='for i in {1..10}; do sleep 1 && echo "slept $i" E; done',
   dag=dag,
)

complex_dag_fun_2 = BashOperator(
   task_id='leaf_node1',
   bash_command='for i in {1..5}; do sleep 1 && echo "slept $i" E; done',
   dag=dag,
)

complex_dag_fun_3 = BashOperator(
   task_id='leaf_node_2',
   bash_command='for i in {1..10}; do sleep 1 && echo "slept $i" E; done',
   dag=dag,
)

complex_dag_fun_4 = BashOperator(
   task_id='bottleneck_node',
   bash_command='for i in {1..1}; do sleep 1 && echo "slept $i" E; done',
   dag=dag,
)
источник

ДН

Дмитрий Негреев... in Airflow
выполняют sleep в операционной системе
источник

P

Pavel in Airflow
wait_for_downstream=True
depends_on_past=True
источник

ФЧ

Филипп Чистяков... in Airflow
Ребят кидаю
raise AirflowSkipException

Но в даге выглядит вот так.

ЧЯДНТ?
источник

A

Alex in Airflow
SkipException => SKIPPED, что вы ждёте, если не это?)
источник

ФЧ

Филипп Чистяков... in Airflow
Для меня странно, что в логах статус success
источник

A

Alex in Airflow
а после raise return есть?
источник

ФЧ

Филипп Чистяков... in Airflow
Я думал, что success это успешно завершенная таска без ошибок.

А done завершенная таска
источник

A

Alex in Airflow
хотя не нужно по идее, выкинет исключение же
источник

A

Alex in Airflow
странно. у меня выкидывает просто skipped
источник

ФЧ

Филипп Чистяков... in Airflow
Ну питон оператор ходит в функцию ввида:

Def start():
 Some code
 Try:
   Asser 1==1
 Except exception:
    Raise skip exetrion

 Return
источник

ФЧ

Филипп Чистяков... in Airflow
Извиняюсь, с телефона пишу
источник

ФЧ

Филипп Чистяков... in Airflow
Обманул. У меня вот такой код
источник

ФЧ

Филипп Чистяков... in Airflow
Я делаю raise airflowskip exception в except части, но все равно не понимаю почему так в логах


Статус в таске правильный проставляется, и вроде бы работает не лезь.

Но хочется понятт
источник

ММ

Максим Мартынов... in Airflow
Это баг логирования https://github.com/apache/airflow/pull/14822
источник

ФЧ

Филипп Чистяков... in Airflow
Кайф) а то я переживал, а стоило погуллить
источник