Size: a a a

2021 March 28

А

Александр in Airflow
Всем привет. Подскажите, пожалуйста, когда я создаю новый dag в веб интерфейсе он в положении off. Когда я перевожу его в on он сразу начинает выполнение задачи один раз, а дальше уже работает по расписанию. Можно ли и как можно сделать так, чтобы этого первого авто выполнения не было. Или вопрос формулирую не так или что, но ни в документации ни на stackoverflow не нашёл ответ.
источник

VL

Vadim Lygin in Airflow
Александр
Всем привет. Подскажите, пожалуйста, когда я создаю новый dag в веб интерфейсе он в положении off. Когда я перевожу его в on он сразу начинает выполнение задачи один раз, а дальше уже работает по расписанию. Можно ли и как можно сделать так, чтобы этого первого авто выполнения не было. Или вопрос формулирую не так или что, но ни в документации ни на stackoverflow не нашёл ответ.
посмотри в сторону start_date параметра
источник

А

Александр in Airflow
Vadim Lygin
посмотри в сторону start_date параметра
То есть? Должен быть какой-то особый формат? Сейчас у меня start_date в формате '%Y-%m-%d'. Или вы имеете в виду поставить дату в будущем, чтобы старт начался когда наступит это время?
источник

GB

Georgy Borodin in Airflow
Александр
То есть? Должен быть какой-то особый формат? Сейчас у меня start_date в формате '%Y-%m-%d'. Или вы имеете в виду поставить дату в будущем, чтобы старт начался когда наступит это время?
Ставишь стартовую дату по принципу «время первого нужного мне запуска – длина периода»
источник

А

Александр in Airflow
Georgy Borodin
Ставишь стартовую дату по принципу «время первого нужного мне запуска – длина периода»
Понял, спасибо. 👍
источник

VL

Vadim Lygin in Airflow
источник

А

Александр in Airflow
Спасибо 👍
источник

ДС

Дина Сафина... in Airflow
Всем салют! 🤝
А вот и обещанная статья про TaskFlow API, который появился во второй версии Airflow: https://bit.ly/39lsHSK

Кажется получилось неплохо, в заметке есть небольшой практический пример + сравнение old-style и нового стиля написания PythonOperator'ов.
Код с примерами лежит как всегда у меня в репе: https://github.com/adilkhash/airflow-taskflow-api-examples
Приветствуется конструктивная критика и пожелания 🙏

Скоро будет продолжение про кастомный бэкенд для XCom.
источник

А

Адиль in Airflow
Дина Сафина
Всем салют! 🤝
А вот и обещанная статья про TaskFlow API, который появился во второй версии Airflow: https://bit.ly/39lsHSK

Кажется получилось неплохо, в заметке есть небольшой практический пример + сравнение old-style и нового стиля написания PythonOperator'ов.
Код с примерами лежит как всегда у меня в репе: https://github.com/adilkhash/airflow-taskflow-api-examples
Приветствуется конструктивная критика и пожелания 🙏

Скоро будет продолжение про кастомный бэкенд для XCom.
Спасибо за репост)
источник

Y

Yury in Airflow
Привет! Кто-то использует airflow 2 с Apache Atlas?
источник

GB

Georgy Borodin in Airflow
Адиль
Спасибо за репост)
Немного смутило «Если функция делает return»: return, даже если он не прописан явно, есть всё равно, просто None возвращается.

В остальном хорошая статья, можно спойлер про кастомный бэкенд XCom-а, не S3 случайно будет?)
источник

А

Адиль in Airflow
Georgy Borodin
Немного смутило «Если функция делает return»: return, даже если он не прописан явно, есть всё равно, просто None возвращается.

В остальном хорошая статья, можно спойлер про кастомный бэкенд XCom-а, не S3 случайно будет?)
Да, return есть. Допишу если явно делает return :)
На счёт кастомного бэкенда, цель принцип описать, а реализация уже на усмотрение читающего. Можно S3, Redis и даже shared memory в некоторых ситуациях
источник

GB

Georgy Borodin in Airflow
Адиль
Да, return есть. Допишу если явно делает return :)
На счёт кастомного бэкенда, цель принцип описать, а реализация уже на усмотрение читающего. Можно S3, Redis и даже shared memory в некоторых ситуациях
Не, ну вдруг готовый пример будет для S3, тасочку себе заводить не буду 😂
источник

А

Адиль in Airflow
=) хорошо
источник

VS

Vladislav 👻 Shishkov... in Airflow
Yury
Привет! Кто-то использует airflow 2 с Apache Atlas?
Прикручивали и открутили, атлас дебильный конечно...
источник

Y

Yury in Airflow
Vladislav 👻 Shishkov
Прикручивали и открутили, атлас дебильный конечно...
А почему отключили?
источник

VS

Vladislav 👻 Shishkov... in Airflow
Потому что сам атлас такой себе, у нас правда и версия была старенькая в hdp, но с повышением ничего особо не менялось. Смысл самого атласа очень спорный, нам не понравился и не удовлетворяет наших хотелок
источник

Y

Yury in Airflow
Vladislav 👻 Shishkov
Прикручивали и открутили, атлас дебильный конечно...
Атлас поднял в контейнере, в настройках включил. Тесторый даг отрабатывает без ошибок. В x-com данные есть. Но в атласе не появляются.
источник

Y

Yury in Airflow
Vladislav 👻 Shishkov
Потому что сам атлас такой себе, у нас правда и версия была старенькая в hdp, но с повышением ничего особо не менялось. Смысл самого атласа очень спорный, нам не понравился и не удовлетворяет наших хотелок
а что теперь используете?
источник

VS

Vladislav 👻 Shishkov... in Airflow
В масштабах пока ничего
источник