Size: a a a

2021 May 31

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
не не, я к тому, что при перезапуске, он найдёт их, если что :?
источник

ME

Max Efremov in Airflow
монтирование папок прям из нашего докер компоуза)
источник

ME

Max Efremov in Airflow
ну да, все логи будут на хостовой машине в папке
источник

ME

Max Efremov in Airflow
при запуске контейнера у него будет папка с этими логами и он будет туда новые писать и старые читать
источник

ME

Max Efremov in Airflow
только подумайте про очистку логов, может много накопиться
источник

АТ

Антон Тарутин... in Airflow
Добрый день! Есть ли возможность получать знания xcom  внутри dag? (А не внутри операторов)
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
У меня образ запускает через docker напрямую, без компоуза.

Я могу же получается при запуске указывать:  в консольке :?
источник

ММ

Максим Мартынов... in Airflow
docker logs -f
источник

ME

Max Efremov in Airflow
внутри дага это как? Там же таски работают внутри
источник

АТ

Антон Тарутин... in Airflow
Нужно таскам параметры передать. И количество тасков различное.
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
А в конфиг как-то можно вшить :?
источник

PA

Panchenko Andrey in Airflow
Rscript myscript.R
источник

ММ

Максим Мартынов... in Airflow
в чем задача?
источник

ME

Max Efremov in Airflow
Хм, а интересно, есть какая-то штатная возможность сгенерить алерт, когда сенсор работает дольше нужного времени? Скажем, 5 дней, но как один день пройдёт, то послать алерт в слак, что что-то идёт не так, я ещё держусь, но вы там проверьте)
источник

ME

Max Efremov in Airflow
и так каждый день, например
источник

ME

Max Efremov in Airflow
5 сенсоров подряд не предлагать 😁
источник

PA

Panchenko Andrey in Airflow
так а разве низзя поставить ограничение на исполнение таски?
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
У меня не компост, а просто докер, образ висит в репозитории на артефактори.
Хотелось бы с меньшими танцами и бубном, сделать так. чтобы логи выгружались куда надо, и там хранились
источник

ME

Max Efremov in Airflow
у меня сейчас сутки и фейл. надо руками всё перезапускать, когда починил причину фейла. И так в 20 дагах... А без фейла я и не узнаю, что всё плохо) Вот подумал сделать побольше время, но какие-то уведомления, что что-то пошло не так
источник

ME

Max Efremov in Airflow
какие логи, тасок?
источник