В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1012 membersпожаловаться на группу
2020 October 30

ДН

Дмитрий Негреев... in Airflow
Pavel G
запустить из CLI
А чем это отличаться от запуска из UI будет?
Смысл в том что расчет за прошлое обычно сильно дольше, max_active_runs=1 держит Даг ран от расписания, но если мануальный упадёт, то тот что по расписанию стартанет и затрет например часть долгих расчетов
источник
16:22пожаловаться#1

ДН

Дмитрий Негреев... in Airflow
Хочется проконтролировать, убедится что все ок, и потом обратно зашедулить
источник
16:22пожаловаться#2

PG

Pavel G in Airflow
trigger_dag создаст запись в мета бд аирфлоу и можно будет в UI мониторить процесс. Если тригернуть даг из UI то он создать dag_run с текущей меткой времени.
источник
16:24пожаловаться#3

🚀Г

🚀Юрий Гагарин... in Airflow
Yuri S
Как правильно сделать даг, чтобы его можно было перезапускать задним числом?
их и так можно перезапускать задним числом =))
У каждого дага есть execution_date, start_date и ещё какие-то *_date

вот эту дату можно передать в оператор и от неё плясать в своих вычислениях
источник
16:25пожаловаться#4

ДН

Дмитрий Негреев... in Airflow
Yuri S
Как правильно сделать даг, чтобы его можно было перезапускать задним числом?
https://airflow.apache.org/docs/stable/macros-ref.html
источник
16:26пожаловаться#5

ДН

Дмитрий Негреев... in Airflow
Pavel G
trigger_dag создаст запись в мета бд аирфлоу и можно будет в UI мониторить процесс. Если тригернуть даг из UI то он создать dag_run с текущей меткой времени.
Да можно и в UI создать дагран на любой execution_date
источник
16:26пожаловаться#6

ДН

Дмитрий Негреев... in Airflow
Но мою проблему это не решает
источник
16:26пожаловаться#7

YS

Yuri S in Airflow
🚀Юрий Гагарин
их и так можно перезапускать задним числом =))
У каждого дага есть execution_date, start_date и ещё какие-то *_date

вот эту дату можно передать в оператор и от неё плясать в своих вычислениях
Спасибо!
источник
16:27пожаловаться#8

YS

Yuri S in Airflow
Дмитрий Негреев
https://airflow.apache.org/docs/stable/macros-ref.html
Супер, спасибо!
источник
16:28пожаловаться#9
2020 October 31

SG

Sergey Gavrilov in Airflow
О, нас уже больше тысячи человек. Поздравляю всех!
источник
22:06пожаловаться#10
2020 November 01

ME

Max Efremov in Airflow
А у mysql operator можно включить фейл на warning в логах?
источник
12:13пожаловаться#11

ME

Max Efremov in Airflow
А то по дефолту он всякие обрезания данных глотает, а это чревато потерей)
источник
13:05пожаловаться#12

АЖ

Андрей Жуков... in Airflow
Max Efremov
А у mysql operator можно включить фейл на warning в логах?
ну перегрузи его/сделай свой, кто мешает?
источник
13:24пожаловаться#13

АЖ

Андрей Жуков... in Airflow
я так s3 hook и s3 sensor переписывал под minio
источник
13:24пожаловаться#14

ME

Max Efremov in Airflow
Андрей Жуков
ну перегрузи его/сделай свой, кто мешает?
Лень немного, думал штатное есть, просто не вижу)
источник
13:25пожаловаться#15

ME

Max Efremov in Airflow
Но наверное да
источник
13:25пожаловаться#16
2020 November 02

ДН

Дмитрий Негреев... in Airflow
подскажите, где про airflow_local_settings.py почитать можно?
в доках вижу только примеры локальные, а на что еще способен и как правильно оформить примеры не вижу(
толи методы с такими названиями надо всегда иметь, толи в каком-то листе их перечислять
источник
08:19пожаловаться#17

СГ

Станислав Горчаков... in Airflow
скажите, плиз, а почему может в настройках дага не срабатывать catchup=False? или какая настройка останавливает запуск по шедулеру, когда даг был выключен и включается заново, и сразу несколько запусков срабатывает
источник
14:05пожаловаться#18

E

Edya in Airflow
Станислав Горчаков
скажите, плиз, а почему может в настройках дага не срабатывать catchup=False? или какая настройка останавливает запуск по шедулеру, когда даг был выключен и включается заново, и сразу несколько запусков срабатывает
max_active_runs вроде может позволить такое, если поставить 1 не должно быть такого
источник
14:10пожаловаться#19

СГ

Станислав Горчаков... in Airflow
Edya
max_active_runs вроде может позволить такое, если поставить 1 не должно быть такого
ок, спасибо за идею и важно вставлять его не в default_args
источник
14:15пожаловаться#20