НО. Я не исследовал на эту тему версию 2.0. Возможно там логи по-человечески сделаны.

airflow экспотирует файл с логом таски на выбранный вами в конфиге ресурс после её завершения.

Привет
Подскажите плз
Можно ли в airflow настроить запуск дага на такое время:
запускать в течение дня для 8 различных комбинаций часов минут
К примеру:  9:30, 10-00, 11-00, 12-00, 13-00, 14-00, 15-00,16-00 часов

Можно попробовать сделать - это как crontab выражение

https://crontab.guru/#0_2_*_*_*
Тогда он будет запускаться в два часа ночи раз в день)

Добрый день, я новичок в airflow, мне нужно сделать загрузку в таблицу hive.  Создал вот такой даг  
import time
import airflow
from airflow.operators.hive_operator import HiveOperator
from airflow.models import DAG
from airflow.utils.dates import days_ago

dag = DAG(
  dag_id='load_some_data',
  schedule_inretval='* * * * *',
  start_date=airflow.utils.dates.days_ago(1)
        )

run_sql = HiveOperator(
                       task_id='run_sql',
                       hive_cli_conn_id='hive',
                       hql="""
                              truncate table  table1 ;
                              insert overwrite table table1  select * from table2;
                           """,
                       dag=dag
                     )

run_sql

Подскажите пожалуйста как нужно допилить конфиг.

все, кроме первого, можно покрыть
https://crontab.guru/#0_10-16_*_*_*
дальше надо смотреть, такие интервалы не пробовал

как вариант сделать два дага, ну или больше, с разным расписанием для покрытия всех кейсов

Там вроде несколько строк можно сделать, как в crontab

не отправляется ссылка О_о github com/apache/airflow/issues/8649 - тут обсуждали эту фичу, но походу дискусия заглохла

А как канонично прервать выполнения таски, сейчас юзаю exit(), но подозреваю, что это не оч

Задача даже больше не преравть таску, а не дать след таске стартануть

raise AirflowException, ну или наследники

а если ошибки нет, то return

у меня там фильтруются данные и в какой то момент их len() == 0 становится, и вот в такой сутации мне надо остановить dagrun

А кто знает, если я запускаюсь в 16/04 в 00:10 МСК GMT+3 в {{ yesterday_ds }} будет 15 или 14?

Эти подстановки считаются по айрпловному GMT времени?

Подозреваю что будет 14 число.
Мы такое обошли путём правки конфига

Но да, мы запускали даги из-вне

Похоже это лучший вариант.
Всем спасибо за ответы.