Size: a a a

2021 March 08

JF

Justice For All in Airflow
Anton Afonin
Если остановить - руками failed, если перезапустить - clear, как писали выше
Я просто не въехал что значило "Нужно через clear их пускать")) Т.е. если принудительно сделать "Clear the state" - то это перезапустит таск?
источник

AA

Anton Afonin in Airflow
А)
Да, имелась ввиду кнопка "clear", как на моём скриншоте, можно с дополнительными параметрами (серые кнопки рядом), чтобы сразу пачками очищать
источник

AA

Anton Afonin in Airflow
Justice For All
Я просто не въехал что значило "Нужно через clear их пускать")) Т.е. если принудительно сделать "Clear the state" - то это перезапустит таск?
Да, они заново поставятся в очередь и запустятся
источник

JF

Justice For All in Airflow
Anton Afonin
А)
Да, имелась ввиду кнопка "clear", как на моём скриншоте, можно с дополнительными параметрами (серые кнопки рядом), чтобы сразу пачками очищать
А, прям "потасково" можно очищать! Я то про вот этот клир 👆 (который весть даг, насколько я понял)
источник

AA

Anton Afonin in Airflow
Justice For All
А, прям "потасково" можно очищать! Я то про вот этот клир 👆 (который весть даг, насколько я понял)
Это же вторая версия?) Про неё ничего не подскажу, не пробовал)
источник

JF

Justice For All in Airflow
Anton Afonin
Это же вторая версия?) Про неё ничего не подскажу, не пробовал)
Да, она самая. Благодарю, пока что всё что вы подсказали - работало)
источник

AA

Anton Afonin in Airflow
Я в смысле про интерфейс не в курсе, надеюсь, что по сути не так уж сильно поменялось)
источник

JF

Justice For All in Airflow
Anton Afonin
Я в смысле про интерфейс не в курсе, надеюсь, что по сути не так уж сильно поменялось)
Да, есть различия (Task details например называется Instance details, но все равно понятно где искать хоть)
источник

JF

Justice For All in Airflow
источник

JF

Justice For All in Airflow
А есть возможность посмотреть stdout уже выполненных BashOperator тасков? Или никак, и нужно как-то самому логи писать?
источник

ME

Max Efremov in Airflow
Justice For All
А есть возможность посмотреть stdout уже выполненных BashOperator тасков? Или никак, и нужно как-то самому логи писать?
Логи есть
источник

ME

Max Efremov in Airflow
В UI можно посмотреть всё, если не чистили
источник

ME

Max Efremov in Airflow
Кнопка лог
источник

JF

Justice For All in Airflow
Max Efremov
Кнопка лог
Ага, и там по каждому таску отдельно. Спасибо!
источник
2021 March 09

IK

Ivan Kizimenko in Airflow
когда я вижу ошибку broken pipe в процессе gunzip и заливки этого же файла в БД. Это говорит о том что они идут рассинхронно ?
источник

IK

Ivan Kizimenko in Airflow
заливаю в clickhouse
источник

mm

m m in Airflow
Всем привет. Подскажите пожалуйста, пытаюсь запустить SubDag после степа в ParentrDag. ParentrDag завершается успешно, но SubDag не страртует. При этом, если в морде у SubDag нажать External, то он видит ParentrDag....
источник

mm

m m in Airflow
источник

AK

Alexander Kirshin in Airflow
ребята у меня вопрос у кого нибудь был опыт запуска spark-submit скриптов из airflow и вообще связки apache spark и airflow?
источник

AK

Alexander Kirshin in Airflow
то есть standalone сервер где живет spark, на нем же живет airflow, есть spark jobs в виде python скриптов, вопрос как их связать в DAG, если теоретически один Job зависит от другого, но если нет то хотя бы 1 вариант
источник