В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1066 membersпожаловаться на группу
2020 December 22

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
а скажите, в чем смысл использования execution_date значения в airflow? ведь он отражает не актуальное время выполнения ДАГа
зачем в макросах завязываться именно на этот атрибут мне непонятно
Вариантов очень много, вот, например:
1. Выставили датой старта 1 декабря
2. Написали воркфлоу, которому нужно сначала что-то посчитать из файлов за 1 декабря, чтобы считать правильно из файлов за 2-е
3. Сегодня 22-е, мы запускаем с catchup=True, и max_active_runs=1, всё идёт, как нужно
источник
13:26пожаловаться#1

GB

Georgy Borodin in Airflow
Или когда ты что-то грузишь от внешнего API, надо тебе получать за день инфу, если ты будешь использовать время сейчас для получения – успешно выгрузишь один день
источник
13:26пожаловаться#2

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Вариантов очень много, вот, например:
1. Выставили датой старта 1 декабря
2. Написали воркфлоу, которому нужно сначала что-то посчитать из файлов за 1 декабря, чтобы считать правильно из файлов за 2-е
3. Сегодня 22-е, мы запускаем с catchup=True, и max_active_runs=1, всё идёт, как нужно
но ведь в этом кейсе мы например не сможем вручную запускать тогда ДАГ, и максимум что мы сможем сделать, так это backfill
+ Мне кажется для этого аналогично можно было использовать prev_start_date значение из предыдущего ДАГа
лично для меня execution_date сыграл злую шутку, так как я изначально не так интерпретировал его значение
источник
13:30пожаловаться#3

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
но ведь в этом кейсе мы например не сможем вручную запускать тогда ДАГ, и максимум что мы сможем сделать, так это backfill
+ Мне кажется для этого аналогично можно было использовать prev_start_date значение из предыдущего ДАГа
лично для меня execution_date сыграл злую шутку, так как я изначально не так интерпретировал его значение
Почему? Я не совсем может корректно выразился, "запустили"="положили в эирфлоу". При указанной мной конфигурации он сам создаст запуски, начиная с самого первого, backfill нужен не будет
источник
13:32пожаловаться#4

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Почему? Я не совсем может корректно выразился, "запустили"="положили в эирфлоу". При указанной мной конфигурации он сам создаст запуски, начиная с самого первого, backfill нужен не будет
для первого запуска и не нужен будет конечно, но если например мы найдем дефект в загруженных данных, то нам придется править логику ДАГа и перезапускать его
источник
13:33пожаловаться#5

ME

Max Efremov in Airflow
Alexandr Vladimirovich
а скажите, в чем смысл использования execution_date значения в airflow? ведь он отражает не актуальное время выполнения ДАГа
зачем в макросах завязываться именно на этот атрибут мне непонятно
Для бэкфилинга
источник
13:33пожаловаться#6

AV

Alexandr Vladimirovi... in Airflow
Max Efremov
Для бэкфилинга
а можно для тупых пожалуйста ссылку на описание этого значение, а то чет в оф документации не нашел указание на это значение
источник
13:33пожаловаться#7

GB

Georgy Borodin in Airflow
Alexandr Vladimirovich
для первого запуска и не нужен будет конечно, но если например мы найдем дефект в загруженных данных, то нам придется править логику ДАГа и перезапускать его
Ну это уже условности, лить на прод битые даги не нужно)
источник
13:33пожаловаться#8

ME

Max Efremov in Airflow
Это кетчуп который, доппустим надо раз в месяц грузить данные, ставим старт прошлым годом и он нагоняет до текущего месяца
источник
13:34пожаловаться#9

GB

Georgy Borodin in Airflow
И даже когда ты перезапустишь битый даг, завязанный на execution_date, он выполнит действия актуальные для того момента
источник
13:34пожаловаться#10

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Ну это уже условности, лить на прод битые даги не нужно)
ну это ровно так же как и писать код без ошибок, первый блин комом)
источник
13:34пожаловаться#11

ME

Max Efremov in Airflow
А в каждом дагране юзает опорную дату
источник
13:34пожаловаться#12

AV

Alexandr Vladimirovi... in Airflow
Max Efremov
Для бэкфилинга
не, я про execution_date атрибут)
если есть полное описание атрибута, киньте плиз ссылку)
источник
13:34пожаловаться#13

GB

Georgy Borodin in Airflow
Короче, execution_date – самая соль Airflow, если он тебе не нужен – ты решаешь задачу, которую нужно было решить кроном
источник
13:35пожаловаться#14

ME

Max Efremov in Airflow
там просто дата запуска дага по расписанию. Наверное в доках что-то ещё написано, но суть такая
источник
13:35пожаловаться#15

ME

Max Efremov in Airflow
Причём она отстаёт от текущей даты всегда на 1 период
источник
13:36пожаловаться#16

ME

Max Efremov in Airflow
Т.е. данные процессятся при окончании той даты
источник
13:36пожаловаться#17

GB

Georgy Borodin in Airflow
Max Efremov
Причём она отстаёт от текущей даты всегда на 1 период
И то, специально)
источник
13:36пожаловаться#18

AV

Alexandr Vladimirovi... in Airflow
Georgy Borodin
Короче, execution_date – самая соль Airflow, если он тебе не нужен – ты решаешь задачу, которую нужно было решить кроном
ну смотрите, у меня задача такая, мне надо при запуске ДАГа получать время запуска ДАГа - 1 день
какой макрос мне для этого заюзать?
источник
13:36пожаловаться#19

ME

Max Efremov in Airflow
Georgy Borodin
И то, специально)
Да, так и надо по сути, но сначала я сам тупил
источник
13:36пожаловаться#20