Какая бд? Через Airflow test пробовали? Учтите что у каждой таски своя сессия

исходная - Oracle - из нее получаю данные в питоновскую переменную. Целевая - Postgres там insert query. фактически у меня физическая таблица в постгре которая создается в начале дага и дропается за не надобностью в конце выполнения дага по этому я и назвал ее темповой

А как вы через инсерт вставляете, генерите SQL?

Но вообще это способ адовый и для вставки лучше делать copy

Доброго дня! Сможет кто нибудь помочь? Есть даг выполняющийся по шедулеру раз в сутки. Если триггерить его вручную, то данные переносятся - среднее время выполнения около 2-х минут. Однако при запуске по шедулеру таски выполняются за ~20 сек. помечаются как успешные но данных в целевой бд нет. Уже изменили время запуска по шедулеру, чтобы быть полностью уверенными что в исходной бд вьюха содержит данные. В логах таски ничего конкретного нет (и не очень понятно что залогировать). Другие даги отрабатывают успешно. Версия airflow 1.10.6. Заранее спасибо!

В смысле залогировать количество строк

сейчас этим занимаюсь, но когда триггерю в ручную то все отрабатывает

Что такое вручную?

Всем привет
хочу генерировать даги, нашел такую штуку в интернетах
globals()[dag_id] = create_dag(dag_id,
                                 schedule,
                                 dag_number,
                                 default_args)
я ж так понимаю это будет не полноценный даг, а обычный питонячий скрипт, который через python blablabla.py просто толкнуть надо?

Даг это и есть питонячий скрипт. Непонятно в чем вопрос

или физически будет 1 файл на множество дагов просто?