Size: a a a

2020 September 21

MF

Mihail F in Airflow
Здравствуйте. Есть ситуация когда даг перестает выполнять таски.  Даг завис с 17-го числа, тасков активных нет, просто остановил работу. То есть сам Даг салатовый(running), пару тасков в нем зеленые(succes), а остальные белые(no_status)
источник

MF

Mihail F in Airflow
Причем ситуация возникает с хаотичной периодичностью на разных дагах
источник

С

Сюткин in Airflow
А сколько параллелизма стоит в конфиге ?
источник

VS

Vladislav 👻 Shishkov... in Airflow
Aлексей Mатюхин
Главный вопрос для меня на сегодняшний день, каким образом доставлять ДАГи на сервак. Сейчас передается в Докер образ, и образ раскатывается. Но не факт, что так правильно делать, может у кого-то по другому сделано.
Конечно не правильно, но многие так делают...
источник

AM

Aлексей Mатюхин... in Airflow
Vladislav 👻 Shishkov
Конечно не правильно, но многие так делают...
А как правильно, по фен шую?
источник

VS

Vladislav 👻 Shishkov... in Airflow
нет однозначного ответа на этот вопрос
источник

PA

Panchenko Andrey in Airflow
ну я бы манутил к докеру папку
источник

PA

Panchenko Andrey in Airflow
можно кстати gfuse прикрутить в эту папку
источник

AM

Aлексей Mатюхин... in Airflow
Panchenko Andrey
ну я бы манутил к докеру папку
А если попадется битый даг? Как будете откатываться?
источник

PA

Panchenko Andrey in Airflow
хм, а он вылезет сразу, контроль версий, ну и конечно сам тодкер пересобрать недолго
источник

VS

Vladislav 👻 Shishkov... in Airflow
самый главный вопрос, существует несколько вариантов, все зависит от того, что захочет команда, на сколько можно у себя реализовать
источник

VS

Vladislav 👻 Shishkov... in Airflow
Panchenko Andrey
хм, а он вылезет сразу, контроль версий, ну и конечно сам тодкер пересобрать недолго
пересобирать, чтобы откатиться, серьезно?
источник

AM

Aлексей Mатюхин... in Airflow
Panchenko Andrey
хм, а он вылезет сразу, контроль версий, ну и конечно сам тодкер пересобрать недолго
Ну вот, на конференции я бы с удовольствием послушал
источник

PA

Panchenko Andrey in Airflow
тупанул
источник

VS

Vladislav 👻 Shishkov... in Airflow
все забыли случаи, когда сегодня либа есть, завтра либы нет?
источник

VS

Vladislav 👻 Shishkov... in Airflow
все прям до одного фиксируют правильно версии зависимых пакетов?
источник

VS

Vladislav 👻 Shishkov... in Airflow
очень сомневаюсь, поэтому вариант "надо откатиться" работает только тогда, когда у вас есть прошлый релиз
источник

VS

Vladislav 👻 Shishkov... in Airflow
А вот где он, в докере, в гите, в зипке - это уже отдельная история
источник

AM

Aлексей Mатюхин... in Airflow
Vladislav 👻 Shishkov
очень сомневаюсь, поэтому вариант "надо откатиться" работает только тогда, когда у вас есть прошлый релиз
Плюсую. Сталкивался
источник

PA

Panchenko Andrey in Airflow
ну мне непонятно в чем сложность то?
у меня есть опты как на гугл клауде со стораджем и папкой в нем куда после коммитта автопулится даг,
есть опыт со стандалоун аирфлоу без докера с папкой и gfuse
источник