АМ
docker-compose-CeleryExecutor.yml
Size: a a a
2020 June 19
SG
Попробуйте docker-compose down -v и снова up
SG
Мб у вас контейнеры не пересобрались
OI
Привет!
Вопрос. Как можно сделать, чтобы on_failure_callback не выполнялся в случае падения по таймауту? (в том числе как вариант могу это проверять в самой функции)
Вопрос. Как можно сделать, чтобы on_failure_callback не выполнялся в случае падения по таймауту? (в том числе как вариант могу это проверять в самой функции)
M
Привет!
Вопрос. Как можно сделать, чтобы on_failure_callback не выполнялся в случае падения по таймауту? (в том числе как вариант могу это проверять в самой функции)
Вопрос. Как можно сделать, чтобы on_failure_callback не выполнялся в случае падения по таймауту? (в том числе как вариант могу это проверять в самой функции)
посмотрите что передается в контекст, там должен лежать эксепшен
2020 June 20
KS
у DagRun в базе есть поле external_trigger. попробуйте посмотреть на него, правильное ли там значение в зависимости от вашего условия
KS
или мб в контексте запуска оно есть, там тоже можно посмотреть
B
или мб в контексте запуска оно есть, там тоже можно посмотреть
Каждый run_id начинается с префикса, schedule__, manual__, trig__, решила просто брать из контекста эту переменную и парсить префикс)
В
Всем привет!
У меня субдаг горит зеленым, всё в судбаге уже выполнено, в логах куча таких строчек и прогресс никак не двигается:
везде в дагах стоит
У меня субдаг горит зеленым, всё в судбаге уже выполнено, в логах куча таких строчек и прогресс никак не двигается:
[2020-06-20 14:38:17,455] {logging_mixin.py:112} INFO - [2020-06-20 14:38:17,454] {backfill_job.py:364} INFO - [backfill progress] | finished run 1 of 1 | tasks waiting: 8 | succeeded: 1 | running: 0 | failed: 0 | skipped: 9 | deadlocked: 0 | not ready: 0
catchup_by_default=False в airflow.cfg где развернут мастер и шедулервезде в дагах стоит
catchup=False
executor=Celery
что я делаю не так?2020 June 21
DL
Всем привет прокачанным в Airflow. Ребят подскажите что в SqlSensor поставить такого, чтобы один селект когда выдавал null, то он уходил бы в success и давал зеленый свет, и после пары тройки тасков другой SqlSensor уже бы ждал ответ от select, но уже с каким то значением и только тогда бы становился Success, чето я недогоняю малеха(
АЖ
Всем привет прокачанным в Airflow. Ребят подскажите что в SqlSensor поставить такого, чтобы один селект когда выдавал null, то он уходил бы в success и давал зеленый свет, и после пары тройки тасков другой SqlSensor уже бы ждал ответ от select, но уже с каким то значением и только тогда бы становился Success, чето я недогоняю малеха(
Не очень понятно. А какое условие fail для первого сенсора?
DL
Не очень понятно. А какое условие fail для первого сенсора?
Если вышли записи, то fail, если null то success
С
Если вышли записи, то fail, если null то success
Sqlsensor + branchoperator
АЖ
Ну или написать свой сенсор с блэкджеком
DL
Там параметром null чтоли сделать?
E
Всем привет прокачанным в Airflow. Ребят подскажите что в SqlSensor поставить такого, чтобы один селект когда выдавал null, то он уходил бы в success и давал зеленый свет, и после пары тройки тасков другой SqlSensor уже бы ждал ответ от select, но уже с каким то значением и только тогда бы становился Success, чето я недогоняю малеха(
Воспользуйтесь самим SQL
DL
Сделайте case что если null то True
хмммм, спасибо, а это идея
DL
у меня там процедура просто, значит сделаю обыкновенный sql