Size: a a a

2021 March 15

А

Адиль in Airflow
ps. airflow миграции не накатывает в моём случае, руками онли
источник

VS

Vladislav 👻 Shishkov... in Airflow
V O
Добрый день. Может есть у кого ссылка по версионированию базы с данными. Интересуют вопросы:
1) есть ли встроенные инструменты в airflow для версионирования базы(речь про хранилище данных) ? Пока я вижу два выхода, разработчик сам приводит базу в актуальное состояние или же первым шагом в даге запускаем alembic, который и накатит скрипты
2) как вы у себя решили этот вопрос?
источник

VS

Vladislav 👻 Shishkov... in Airflow
Там есть слайд, какие инструменты рассматривали
источник

VO

V O in Airflow
большое спасибо за ответы
источник

I

Ivan in Airflow
Всем привет! Для личного пользования хочу развернуть airflow на vps и сделать доступ типа www.airflow.mywebsite.ru

Не могу найти внятный туториал, может кто видел?
источник

R

Roman in Airflow
Так вам нужен туториал по nginx какому нибудь, а не airflow.
источник

R

R in Airflow
V O
Добрый день. Может есть у кого ссылка по версионированию базы с данными. Интересуют вопросы:
1) есть ли встроенные инструменты в airflow для версионирования базы(речь про хранилище данных) ? Пока я вижу два выхода, разработчик сам приводит базу в актуальное состояние или же первым шагом в даге запускаем alembic, который и накатит скрипты
2) как вы у себя решили этот вопрос?
источник

R

R in Airflow
источник

VO

V O in Airflow
это я уметь, вопрос был скорее по best practice во вселенной airflow
источник

R

R in Airflow
V O
это я уметь, вопрос был скорее по best practice во вселенной airflow
у нас некоторые миграции катятся самими дагами
источник

AK

Alexander Kirshin in Airflow
ребята привет, ни у кого не было проблемы - ставишь запуск Dag по крону, например @hourly , а он молотит один за одним запуск, голову уже сломал
источник

マサ

マキシム サモイロフ... in Airflow
catchup=False нужно поставить, если не хотите чтобы airflow генерировал даг раны начиная со start_date
источник

AK

Alexander Kirshin in Airflow
マキシム サモイロフ
catchup=False нужно поставить, если не хотите чтобы airflow генерировал даг раны начиная со start_date
спасибо, то есть он как бы захватывал старые запуски? у меня start_date стояло days_ago(2)
источник

マサ

マキシム サモイロフ... in Airflow
Alexander Kirshin
спасибо, то есть он как бы захватывал старые запуски? у меня start_date стояло days_ago(2)
ну это несколько десятков запусков по идее
источник

AK

Alexander Kirshin in Airflow
マキシム サモイロフ
ну это несколько десятков запусков по идее
о я так и подумал) спасибо!
источник

В

Владимир in Airflow
Всем привет! Кто может проконсультировать по построению Datalake системы на Airflow (и заодно пояснить чем он лучше Kubeflow и Luigi )
источник

SK

Sergej Khakhulin in Airflow
Всем привет вопрос про schedule_interval, пытаюсь задать интервал `'0 0 16 * *'`,  и start_date:  "2021-01-01 00:00:00" запускаю, и он выполняеться за 16 января, но за 16 февраля не стартует, вопрос почему, и что я делаю не так?
источник

SK

Sergej Khakhulin in Airflow
Sergej Khakhulin
Всем привет вопрос про schedule_interval, пытаюсь задать интервал `'0 0 16 * *'`,  и start_date:  "2021-01-01 00:00:00" запускаю, и он выполняеться за 16 января, но за 16 февраля не стартует, вопрос почему, и что я делаю не так?
правильно ли я понимаю что The scheduler won’t trigger your tasks until the period it covers has ended e.g., A job with schedule_interval set as @daily runs after the day has ended. This technique makes sure that whatever data is required for that period is fully available before the dag is executed. In the UI, it appears as if Airflow is running your tasks a day late означает в моем случае что период это месяц и в итоге он запуститься только когда месяц от этого числа пройдет?
источник

SK

Sergej Khakhulin in Airflow
Sergej Khakhulin
правильно ли я понимаю что The scheduler won’t trigger your tasks until the period it covers has ended e.g., A job with schedule_interval set as @daily runs after the day has ended. This technique makes sure that whatever data is required for that period is fully available before the dag is executed. In the UI, it appears as if Airflow is running your tasks a day late означает в моем случае что период это месяц и в итоге он запуститься только когда месяц от этого числа пройдет?
и если да, то как сделать так что бы он сразу по прошествию стартовал
источник

M

Mikhail in Airflow
Sergej Khakhulin
правильно ли я понимаю что The scheduler won’t trigger your tasks until the period it covers has ended e.g., A job with schedule_interval set as @daily runs after the day has ended. This technique makes sure that whatever data is required for that period is fully available before the dag is executed. In the UI, it appears as if Airflow is running your tasks a day late означает в моем случае что период это месяц и в итоге он запуститься только когда месяц от этого числа пройдет?
да, смысл в том, что каждый дагран запускается после истечения периода
источник