Телеграмм чат группы ruairflow страница 1458

Size: a a a

Airflow

1278 membersпожаловаться на группу

2021 May 13

Stanislav Chernov in Airflow

запускаемый даг

источник

11:51пожаловаться #1

Igor in Airflow

Если проверять каждую минуту то можно просто * оставить а не 0-59

источник

11:57пожаловаться #2

Igor in Airflow

Но вообще airflow не очень хорош в таких частых выполнениях (стандартный совет это "Даши запускать не чаще чем раз в 10 минут"). Кажется по логике тут лучше сенсор вставить перед триггером

источник

11:57пожаловаться #3

Igor in Airflow

А что не так-то? Как проявляется?

источник

11:58пожаловаться #4

Stanislav Chernov in Airflow

А не стартует даг второй..

источник

12:04пожаловаться #5

Stanislav Chernov in Airflow

это понятно, и про интервалы я тоже знаю...

источник

12:04пожаловаться #6

Stanislav Chernov in Airflow

сенсор не подойдет...
мне нужно за 1 заход, проверить наличие 40+ файлов в разных каталогах, и под каждый файл у меня отдельный dag...

источник

12:06пожаловаться #7

Stanislav Chernov in Airflow

всё включено ...

источник

12:07пожаловаться #8

Stanislav Chernov in Airflow

источник

12:07пожаловаться #9

Stanislav Chernov in Airflow

_tis.py

источник

12:07пожаловаться #10

Stanislav Chernov in Airflow

_filemon.py

источник

12:08пожаловаться #11

Stanislav Chernov in Airflow

источник

12:08пожаловаться #12

Andrey M in Airflow

Добрый день, скажите, при описании зависимостей задач можно делать условия? Например t1 » t2 выполнять 1 числа, а в другие дни t1» t3?

источник

12:28пожаловаться #13

🍒

🍒 in Airflow

Можно сделать метод, который будет возвращать оператор. А в методе любые условия и любая генерация операторов

источник

12:34пожаловаться #14

🍒

🍒 in Airflow

t1 » t2()

источник

12:35пожаловаться #15

Andrey M in Airflow

Уловил мысль, спасибо

источник

12:35пожаловаться #16

🍒

🍒 in Airflow

def t2():
    return t1 if datetime.today().day==1 else t3

источник

12:36пожаловаться #17

Alex in Airflow

привет. можно ещё сделать привязку к обоим. и в случае, если 1 число, то делать raise AirflowSkipException у второго и наоборот

источник

12:36пожаловаться #18

Anton Afonin in Airflow

Мне кажется, идея не очень)

источник

12:36пожаловаться #19

Anton Afonin in Airflow

(я про это)

источник

12:37пожаловаться #20