В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1047 membersпожаловаться на группу
2020 November 27

I

Ilya in Airflow
Ilya Lozhkin
Всем привет, какой параметр отвечает за создание задач от start_date до текущей даты?
Аирфлоу шедулер неделю был отключен и не выполнял задачи, сейчас запустил и он начал спавнить задачи на неделю назад, мне их не нужно)
catchup=False
источник
10:18пожаловаться#1

IL

Ilya Lozhkin in Airflow
Спасибо!
так и думал) просто из описания в доке, не совсем очевидно это
источник
10:18пожаловаться#2

ДН

Дмитрий Негреев... in Airflow
попробую еще раз)
источник
11:44пожаловаться#3

ДН

Дмитрий Негреев... in Airflow
Переслано от Дмитрий Негреев...
Подскажите плиз, можно как-то быстро создать все даграны нового дага как выполненные, когда catchup = true?
И возможна ли жизнь externaltasksensor, когда catchup = false? Не пойму как в этом случае должна восстановится связь между дагами, если какой-то дагран может потенциально не существовать
источник
11:44пожаловаться#4

マサ

マキシム サモイロフ... in Airflow
CLI: airflow backfill, вроде как
источник
12:13пожаловаться#5

マサ

マキシム サモイロフ... in Airflow
Но у этой утилилы когда-то были особенности, надо проверять
источник
12:14пожаловаться#6

ДН

Дмитрий Негреев... in Airflow
бэкфилл мне их запустит, а мне надо чтоб сразу выполненные были
источник
12:22пожаловаться#7

ДН

Дмитрий Негреев... in Airflow
даже с lastonlyoperator будет долго
источник
12:22пожаловаться#8

ДН

Дмитрий Негреев... in Airflow
потому что дагранов может быть очень много
источник
12:22пожаловаться#9

DC

Dmitry Chernyshov in Airflow
Дмитрий Негреев
бэкфилл мне их запустит, а мне надо чтоб сразу выполненные были
--mark_success
источник
12:22пожаловаться#10

ДН

Дмитрий Негреев... in Airflow
Dmitry Chernyshov
--mark_success
о, круто, спасибо!
источник
12:24пожаловаться#11

DC

Dmitry Chernyshov in Airflow
Дмитрий Негреев
Переслано от Дмитрий Негреев
Подскажите плиз, можно как-то быстро создать все даграны нового дага как выполненные, когда catchup = true?
И возможна ли жизнь externaltasksensor, когда catchup = false? Не пойму как в этом случае должна восстановится связь между дагами, если какой-то дагран может потенциально не существовать
externaltasksensor с catchup=false - вроде бы не особо хорошая идея, и из коробки при первых пропусках дагранов даг с сенсором встанет колом)
источник
12:24пожаловаться#12

ДН

Дмитрий Негреев... in Airflow
Dmitry Chernyshov
externaltasksensor с catchup=false - вроде бы не особо хорошая идея, и из коробки при первых пропусках дагранов даг с сенсором встанет колом)
а --mark_success не пометит просто все таски как выполненные?
источник
12:25пожаловаться#13

DC

Dmitry Chernyshov in Airflow
Дмитрий Негреев
а --mark_success не пометит просто все таски как выполненные?
Должен пометить, но явно будет кейс, когда даг споткнется, пока не придет бэкфилл
источник
12:26пожаловаться#14

ДН

Дмитрий Негреев... in Airflow
Dmitry Chernyshov
Должен пометить, но явно будет кейс, когда даг споткнется, пока не придет бэкфилл
Мне тут бэкфилл нужно чисто чтобы наклепать даграны.
Использоваться его руками не предполагаю.
источник
12:27пожаловаться#15

マサ

マキシム サモイロフ... in Airflow
У меня есть ощущение, что он какой-то тип сущностей на самом деле не создает в базе (то ли таск инстансы, то ли еще что-то), поэтому если возникнет необходимость перезапуска, будет странное поведение. Но с таким сталкивались на старых версиях, может сейчас уже пофиксили
источник
12:27пожаловаться#16

DC

Dmitry Chernyshov in Airflow
マキシム サモイロフ
У меня есть ощущение, что он какой-то тип сущностей на самом деле не создает в базе (то ли таск инстансы, то ли еще что-то), поэтому если возникнет необходимость перезапуска, будет странное поведение. Но с таким сталкивались на старых версиях, может сейчас уже пофиксили
🤔
источник
12:28пожаловаться#17

マサ

マキシム サモイロフ... in Airflow
Раскопал старый рабочий тред, где разбирались с проблемой — вот такое поведение было при попытке перезапустить таски, которые через backfill --mark-success были сгенерированы. Таски не шедулились, и даже руками их было не запустить.
источник
12:35пожаловаться#18

マサ

マキシム サモイロフ... in Airflow
Это было на версии 1.10.4, вроде как
источник
12:36пожаловаться#19

ДН

Дмитрий Негреев... in Airflow
интересно, попробую
источник
12:46пожаловаться#20