ОБ
Коллеги, простите за дилетантство, но вопрос: а как отлаживать DAG-и под windows (на девелоперской машине)?
Size: a a a
2021 February 16
ОБ
Какой вообще правильный подход к организации разработки DAG-ов?
YB
Коллеги, простите за дилетантство, но вопрос: а как отлаживать DAG-и под windows (на девелоперской машине)?
Есть топорный способ.
airflow tasks test
airflow tasks test
dag_name task_name 2021-02-16ОБ
Это команда консоли? под Windows?
➔m
А там под WSL нельзя что-то попробовать? Я не разбираюсь, но как вариант
➔m
Но вообще, конечно, я б тоже поставила просто убунту второй системой, например.
ИХ
А там под WSL нельзя что-то попробовать? Я не разбираюсь, но как вариант
там графического интерфейса нет, и замучаетесь машину перезагружать при обновлении кода
➔m
там графического интерфейса нет, и замучаетесь машину перезагружать при обновлении кода
А, там каждый раз надо ее рестартить.
Олег, тогда да, мое предложение звучит не очень удобно)
Олег, тогда да, мое предложение звучит не очень удобно)
Н
А там под WSL нельзя что-то попробовать? Я не разбираюсь, но как вариант
попробовать можно. лично пробовал. теперь на маке, тк в компании линукс не ставят
YB
В целом говорят имеется докер в наличии под Windows.
Следовательно можно поднять там airflow и там же запускать
Следовательно можно поднять там airflow и там же запускать
➔m
Ну почему, просто тоже каждый раз пересобирать образ перед тестом
YB
так не. примонтировал же папку dags и все
➔m
Точно, маунт же в обе стороны должен работать. И правда. Я зря, конечно, влезла в разговор про виндоус 😅
➔m
Коллеги, а как правильно под старыми версиями Airflow (1.10.6) делать запуск одного дага другим за конкретную дату? У меня почему-то при использовании TriggerDagRunOperator он пишет, что нет тасков в инстансе. Может, это какая-то популярная проблема новичка с TriggerDagRunOperator? Или лучше делать сабдаг?
Может, там есть какие-то ограничения, типа “не должно быть уже инстанса за эту дату” или что-то такое?
Может, там есть какие-то ограничения, типа “не должно быть уже инстанса за эту дату” или что-то такое?
ОБ
Олег, вы меня простите, но под винду делать даги, да вообще программировать ан чём то кроме семейстав продуктов VisualStudio очень неудобно
Это очевидно, но увы, у нас еще другие задачи под винду... Может виртуалку ставить для этих целей и в линуксе отлаживать?
ОБ
А вот нас здесь 1103 участника... все под линуксом сидят?