AA
Вообще звучит как catchup=True
Size: a a a
2020 December 08
VA
в смысле, так тогда все интервалы между стартом и временем деплоя тригернут даг...
AA
в этом и смысл расписания, разве нет?)
AA
Есть процесс, который нужно периодически запускать, есть дата, с которой его надо периодически запускать и собственно период - мы всё это отдаём оркестратору, который создаёт все "запуски" с этими вводными
AA
Если в какой-то момент что-то поломалось - при поднятии пропущенные "запуски" отрабатывают
VA
Есть процесс, который нужно периодически запускать, есть дата, с которой его надо периодически запускать и собственно период - мы всё это отдаём оркестратору, который создаёт все "запуски" с этими вводными
хм да, просто у меня postgres который содержит все метаданные, тоже отваливается вместе с вебсервером, но это уже другой вопрос. я понял, спс
IK
Что можно дать человеку почитать как введение в airflow, помимо документации?
dk
Коллеги, привет, подскажите новичку, пожалуйста, есть ли какие-нибудь видео, где можно вслед за лектором пайплайны настроить для тренировки. Что находила - там сначала теория-теория , а потом сразу готовый пайплайн показывают с комментом типа "ну вот так это и работает". Может, хочу невозможного, но вдруг)
IK
Коллеги, привет, подскажите новичку, пожалуйста, есть ли какие-нибудь видео, где можно вслед за лектором пайплайны настроить для тренировки. Что находила - там сначала теория-теория , а потом сразу готовый пайплайн показывают с комментом типа "ну вот так это и работает". Может, хочу невозможного, но вдруг)
не видео, но гайдов много https://github.com/astronomer/airflow-guides/tree/main/guides
A
Коллеги, привет, подскажите новичку, пожалуйста, есть ли какие-нибудь видео, где можно вслед за лектором пайплайны настроить для тренировки. Что находила - там сначала теория-теория , а потом сразу готовый пайплайн показывают с комментом типа "ну вот так это и работает". Может, хочу невозможного, но вдруг)
на udemy есть курсы по airflow, возможно, это именно то что вы ищете.
dk
на udemy есть курсы по airflow, возможно, это именно то что вы ищете.
Да,спасибо находила там ранее курс Marc Lamberti,похоже, придется к нему вернуться (хотелось просто более короткий вариант))
z
короче смысл в том, что мне надо просигнализировать, что данные загрузились только частично, и требуется вмешательство человека, но при этом нельзя, чтобы весь таск упал
может значение, которое возвращает python_callable, обернуть в какой-то словарь с нужными метками типа failed, partially_failed и тд
и обрабатывать это на следующем шаге branch_operator и если там например partially_failed помимо дальнейшего выполнения по ветке дергать оператор который будет что-то гдето оповещать?
и обрабатывать это на следующем шаге branch_operator и если там например partially_failed помимо дальнейшего выполнения по ветке дергать оператор который будет что-то гдето оповещать?
DN
Всем привет, такой вопрос, я могу написать что то в духе
if date:
t2 = PythonhonOperator()
if date:
t2 = PythonhonOperator()
DN
тоесть могу ли сделать так чтобы таска запускалась только при определнном условии?
ME
Можно даг сконструировать по условиям, да