if date:
 t1>>t2
else:
 t1>>t3

Будет 2 разных дага

речь наверное про запуск таски
можно заюзать BranchPythonOperator

спасибо, наверн оно, попробую

Добрый день, коллеги. Нужно ваше мнение и совет. Считаете ли вы нужным использовать ORM классы в построении ETL процесса или же в большинстве случаев лучше и проще писать SQL запросы? Может быть вы можете подсказать best practices

templates for sql

До текущего момента была достаточно на все операции с базами SQL и pandas. Но сейчас есть ощущение, что использовать ORM более надёжный вариант

для ORM надо слишком много изменений по коду делать, при активно развивающем ETL

да и это пугает

На spark можно перейти :)

только не говори, что spark - это orm 😬

Ну  spark.read.jdbc.as[Case class] и дальше на scala пишешь всю логику ) потом  обратно

Всем привет, скажите пожалуйста, правильно ли я понимаю, что чтобы мне активировать dag, мне нужно засунуть скрипт в $AIRFLOW_HOME/dags?
Что делать если у моего файла есть зависимости? Я все это добро пихаю туда и все?)

Ещё в UI включить его потом)

Пакеты доставить пипом можно, например

У меня в папке дагов сами даги, а в подпапках разные штуки для них лежат

Общий функции и такое всё

во, это то что хотел услышать, спасибо)

Всем привет.
Никто не сталкивался с проблемой, при включении нескольких дагов падает шедулер, с разными ошибками, есть подозрение что какая-то проблема с пулами при подключении к БД.
Ошибки такие:
sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) SSL SYSCALL error: EOF detected
sqlalchemy.exc.DatabaseError: (psycopg2.DatabaseError) SSL error: sslv3 alert bad record mac
sqlalchemy.exc.DatabaseError: (psycopg2.DatabaseError) server closed the connection unexpectedly
       This probably means the server terminated abnormally
       before or while processing the request.

Postgres 10.15 локально
Airflow в докере:
Ubunthu 14.04
Python 2.7.6
Airflow 1.9.0
SQLAlchemy 1.3.20
psycopg2 2.6.1

так а разве пайтон для аирфлоу не рекомендован не ниже 3.6.5?