Телеграмм чат группы ruairflow страница 1411

14:45пожаловаться #1

Sergey Sheremeta in Airflow

Livy = узкое горлышко?

14:45пожаловаться #2

а кого ливи есть, кто как готовил его?)

14:48пожаловаться #3

дефолтные настройки там ппц)

14:48пожаловаться #4

У нас через какое-то время тупо сессии не запускаются на ливи, NPE отдаёт и всё...

14:49пожаловаться #5

ЕГ

Евгений Глотов... in Airflow

На мой взгляд сомнительная тулза, ничего, кроме проблем, от неё не получишь)

14:51пожаловаться #6

ЕГ

Евгений Глотов... in Airflow

Ни разу не было такого, чтобы всё ок работало

14:52пожаловаться #7

ЕГ

Евгений Глотов... in Airflow

Может кто-то поделится историями успеха

14:52пожаловаться #8

Подскажите, как можно при помощи ExternalTaskSensor проверять что даг завершился за текущий день?

20:17пожаловаться #9

У таск сенсора есть execution_date_fn

20:21пожаловаться #10

а, за текущий он по умолчанию)

20:21пожаловаться #11

я не совсем понимаю как туда передать допусти сегодняшнюю дату и чтобы он проверял по ней?

20:22пожаловаться #12

это если другой надо, есть функция

20:22пожаловаться #13

То есть не передавать ничего?

20:22пожаловаться #14

check_model = ExternalTaskSensor(

task_id=f"check_model",
    external_dag_id=f"vitrine_model_v1.0",
    external_task_id=None,
    allowed_states=

['success']
)

20:22пожаловаться #15

execution_delta=None, execution_date_fn=None

20:23пожаловаться #16

там вот это для задания даты для проверки, по умолчанию такой же будет

20:23пожаловаться #17

the default is the same execution_date as the current task or DAG

20:24пожаловаться #18

http://airflow.apache.org/docs/apache-airflow/1.10.3/_api/airflow/sensors/external_task_sensor/index.html

20:24пожаловаться #19

INFO - Poking for vitrine_model_v1.0.None on 2021-04-08T17:25:48.920507+00:00 ...
INFO - Poking for vitrine_model_v1.0.None on 2021-04-08T17:25:48.920507+00:00 ...
INFO - Poking for vitrine_model_v1.0.None on 2021-04-08T17:25:48.920507+00:00 ...