VA
Как это интерпретировать?
{{local_task_job.py:103}} INFO - Task exited with return code -9почему он выплёвывает вот это, как дебажить даг? мб памяти не хватает или что-то такое
Size: a a a
2020 September 08
ME
хм, подскажите, а как красиво даг слинковать? есть лист операций вида op >> op1, есть даг вида t1 >> list >> t2
ME
если прямо t1 >> [op >> op1, op2 >> op3] >> t2, то получается фигня
ME
op и op2 не зависят от t1
ME
Пока на ум приходят только варианты массива двухмерного и циклами всё как надо залинковать
M
почему он выплёвывает вот это, как дебажить даг? мб памяти не хватает или что-то такое
зависит от того что запускали, у каждого процеса свой набор кодов
VA
зависит от того что запускали, у каждого процеса свой набор кодов
PythonOperator
VA
а внутри pd.to_sql
ME
Пока на ум приходят только варианты массива двухмерного и циклами всё как надо залинковать
или странный вариант: [t1>>op>>op1, t1>>op2>>op3]>>t2
IL
airflow же поймет в scheduler_interval через запятую?
типа такого
15 0 * * *, 30 5 * * *, 45 10 * * *, 0 16 * * *типа такого
IL
А что делать? если надо
DM
BTW PR по теме
https://github.com/apache/airflow/pull/9091
https://github.com/apache/airflow/pull/9091
Обсуждали
IL
О спасибо большое)
ME
Какой странный api у ExternalTaskSensor. Триггернуть сторонний даг по темплейтной строке можно, а подождать его выполнения уже нет) Либо дельта либо функция...
ME
Слушайте, а как вы даги обновляете? Например у нас во время девелопмента появились новые таски в даге и он когда очередной день запустит, на них встанет, т.к. раньше их не было. Сейчас я удаляю старый и создаю новый, с новыми тасками и запускаю его для всех старых дат. Но что-то это не очень удобно...
VA
Слушайте, а как вы даги обновляете? Например у нас во время девелопмента появились новые таски в даге и он когда очередной день запустит, на них встанет, т.к. раньше их не было. Сейчас я удаляю старый и создаю новый, с новыми тасками и запускаю его для всех старых дат. Но что-то это не очень удобно...
git pull -> docker compose up и всё
ME
git pull -> docker compose up и всё
Это просто обновление файла дага? А в базе же осталась информация о старом, какие там таски
ME
или это какая-то бага, что новый ран с новыми тасками не работает?