IK
это я скинул из рабочего дага
Size: a a a
2020 December 18
IK
уже 10 прогонов полет нормальный
ME
хм, у меня с таким проблемы были и в чате тоже всплывали...
IK
IK
сам даг так описывал
IK
через их же декораторы
IK
может еще не все оптимально сделал, т.к. ковыряю недели три наверно airflow
PP
Друзья, всем привет! Дайте совет, как лучше сделать на будущее при обновлении Airflow (когда уже 2 версия устаканится и захочется ее поставить). Развернуть все с нуля, прописать в конфиге путь к БД, которая была привязана к старой версии airflow, перенести даги или как лучше?
GB
Друзья, всем привет! Дайте совет, как лучше сделать на будущее при обновлении Airflow (когда уже 2 версия устаканится и захочется ее поставить). Развернуть все с нуля, прописать в конфиге путь к БД, которая была привязана к старой версии airflow, перенести даги или как лучше?
Ну мы планируем так переход:
1. Обновиться до 1.10.14
2. Пройтись по changelog-у, заменить в репозитории код для дагов
3. Сделать дамп базы
4. Обновить описание сервисов (те же команды поменялись для запуска)
5. Запустить обновление базы
6. Надеяться на лучшее
1. Обновиться до 1.10.14
2. Пройтись по changelog-у, заменить в репозитории код для дагов
3. Сделать дамп базы
4. Обновить описание сервисов (те же команды поменялись для запуска)
5. Запустить обновление базы
6. Надеяться на лучшее
GB
Друзья, всем привет! Дайте совет, как лучше сделать на будущее при обновлении Airflow (когда уже 2 версия устаканится и захочется ее поставить). Развернуть все с нуля, прописать в конфиге путь к БД, которая была привязана к старой версии airflow, перенести даги или как лучше?
Лучше всего процесс описан здесь: https://airflow.apache.org/docs/apache-airflow/stable/upgrading-to-2.html
Изменения и фичи можно тут посмотреть:
https://github.com/apache/airflow/blob/master/UPDATING.md
Изменения и фичи можно тут посмотреть:
https://github.com/apache/airflow/blob/master/UPDATING.md
PP
Лучше всего процесс описан здесь: https://airflow.apache.org/docs/apache-airflow/stable/upgrading-to-2.html
Изменения и фичи можно тут посмотреть:
https://github.com/apache/airflow/blob/master/UPDATING.md
Изменения и фичи можно тут посмотреть:
https://github.com/apache/airflow/blob/master/UPDATING.md
благодарю
IK
если у меня небольшой объем данных переливается из сервиса в сервис, есть смысл заморачиваться с разделением на задачи и сохранять все в файл, или нормально если все сделать в одном таске и получение данных и залив их в бд ?
IK
просто даг выходит из 1 таска и сомнение что это не очень правильно
GB
если у меня небольшой объем данных переливается из сервиса в сервис, есть смысл заморачиваться с разделением на задачи и сохранять все в файл, или нормально если все сделать в одном таске и получение данных и залив их в бд ?
Ну вообще советуют, конечно, иметь какое-то temp-хранилище. Но если действительно это решается оператором, то нет смысла заморачиваться.
Нужно просто ответить на вопросы «что будет, если оно упадёт в начале/середине/конце?» и понять, есть ли вероятность того, что перезапустив даг, получишь фигу
Нужно просто ответить на вопросы «что будет, если оно упадёт в начале/середине/конце?» и понять, есть ли вероятность того, что перезапустив даг, получишь фигу
SZ
Как работать с расписанием дага когда в нем первая таска в виде сенсора смотрящего в папку и ждущего файл? Если на пример сенсор смотрит каждые 30 секунд, расписание дага поставить раз в час, а файл прилетел через полтора - два часа? Что произойдет после окончания? Даг выполнится вне очереди нагоняя пропущенные запуски или как это происходит, что то не нашел в документации?
2020 December 19
ДН
Как работать с расписанием дага когда в нем первая таска в виде сенсора смотрящего в папку и ждущего файл? Если на пример сенсор смотрит каждые 30 секунд, расписание дага поставить раз в час, а файл прилетел через полтора - два часа? Что произойдет после окончания? Даг выполнится вне очереди нагоняя пропущенные запуски или как это происходит, что то не нашел в документации?
Зависит от значения catchup, если true, то будет догонять все запуски, если false - только последний
SZ
Зависит от значения catchup, если true, то будет догонять все запуски, если false - только последний
Спасибо, понял.