Size: a a a

2020 September 02

PA

Panchenko Andrey in Airflow
if date == f_quat_date:
  some_code
else:
  pass
источник

PA

Panchenko Andrey in Airflow
типо такого
источник

ME

Max Efremov in Airflow
это да, но там ещё 3 месяца обработать надо, если первый день, а не просто один.
источник

PA

Panchenko Andrey in Airflow
а в чем проблема?
источник

ME

Max Efremov in Airflow
тип январь, февраль и март ждём, в начале апреля запустили даг, который обработает январь, февраль и март
источник

PA

Panchenko Andrey in Airflow
не понимаю в чем проблема
источник

ME

Max Efremov in Airflow
у меня сейчас есть отдельный, который раз в месяц запускается, хочу код переиспользовать)
источник

ME

Max Efremov in Airflow
сейчас он при работе использует execution_date из темплейта
источник

OI

Oleg Ilinsky in Airflow
Max Efremov
у меня сейчас есть отдельный, который раз в месяц запускается, хочу код переиспользовать)
можно создание тасков вынести в отдельный модуль и создавать даги с разным расписанием
источник

Р

Роман in Airflow
Я правильно понимаю что в execution_delta  указывается  ориентировочное время выполнения дага от которого идет зависимость?
источник

ME

Max Efremov in Airflow
Роман
Я правильно понимаю что в execution_delta  указывается  ориентировочное время выполнения дага от которого идет зависимость?
да, там время запуска плановое, для бэкфила используется, когда даг догоняет последние пару лет
источник

Р

Роман in Airflow
Max Efremov
да, там время запуска плановое, для бэкфила используется, когда даг догоняет последние пару лет
У меня сейчас есть ExternalTaskSensor и там указан отрицательный execution_delta, хочу понять как это работает
источник

Р

Роман in Airflow
При этом в этой цепочке тасков нет бэкфила
источник

ME

Max Efremov in Airflow
Видимо что-то из будущего ждёт
источник

ME

Max Efremov in Airflow
For yesterday, use [positive!] datetime.timedelta(days=1).
источник

АЕ

Алексей Есин... in Airflow
Всем привет) ребят подскажите,что не так с воркером, запускаю его через супервизор , он ранится. Но все равно в ошибках показывает Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
источник

VS

Vladislav 👻 Shishkov... in Airflow
Алексей Есин
Всем привет) ребят подскажите,что не так с воркером, запускаю его через супервизор , он ранится. Но все равно в ошибках показывает Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
Очевидно, не может подключиться к базе
источник

АЕ

Алексей Есин... in Airflow
Vladislav 👻 Shishkov
Очевидно, не может подключиться к базе
Сэнк,сорян за глупый вопрос, только узнаю аирфлоу
источник
2020 September 03

D

Danilove in Airflow
всем привет, есть вопрос по xCom...
SSHOperator-ом я получаю имя файла и хочу его передать в livyOperator в args.
Проблема в том, что {{task_instance.xcom_pull(task_ids='first')}} у меня подставляется как - b'text.txt' .
Можно ли как то избавиться от этой 'b' перед именем файла? Или как то подругому это реализовать?

second =  LivyOperator
 args=["--new_file=hdfs:///xxxx/{{task_instance.xcom_pull(task_ids='first')}}"]
источник

AK

Alena Korogodova in Airflow
Replace?..
источник