И вперед

И airflow это история не про etl в классическом понимание

Про elt

merci

Извините за тупость, еще вопрос. А как решать проблему со шкедуированием если у нас в проекте шкедулер и запуск процессов должен идти не тупо от расписания, а и от events?

Сенсоры airflow

Проектируете процесс так что бы было скедулирование + ожидание события (сенсор)

Есть ещё external dag trigger, чтобы дёргать из одних пайплайнов другие.
Только есть нюансы с таймзонами

👍

Конечно, что-то я реально туповат. А поясните пожалуйста, как решить проблему хранения состояния выполнения этапа обработки данных? Как защищаться от того, что после рестарта приложение пойдет заново выполнять весь даг с самого начала?

Стейты тасков airflow хранятся в базе

Если будет рестарт или ещё  чего то шедуллер пойдет обходить даг с того места где остановился до например падения

Куда как большая проблема падение самого дана по середине. Когда прописаны зависимости между тасками. И последний не запустился. По причине падения второго например.

Но это уже вопросы к дизайну дага и операторов.

Ну там есть несколько строчек во всех туториалах про идемпотентность

Но только по факту это  все игнорируют обычно

Airflow по большому счету не продукт или сервис, а framework для построения процессов.

спасибо за ответ, он натолкнул меня на идею использовать backfill через cli с указанием пула. блокируется запуск новых дагов достижением max_active_runs_per_dag (старые даги запускаются и забивают весь лимит, поэтому новые даги не запускаются). решением было "сейчас я создам пул бэкфила, откручу max_active_runs для конкретного дага и запущу бэкфил с указанием пула. будет висеть куча запущенных дагов, но для тасок из новых дагов всегда будут свободные слоты, потому что бэкфилл будет ограничен пулом". для начала решил проверить, что ограничение пула сработает раньше max_active_runs. max_active_runs = 16.  я создал пул с двумя слотами, запустил бэкфил с указанием этого пула...

но айрфлоу вертел мои мысленные эксперименты и запустил в пуле больше тасок, чем размер пула. это нормально, что "used slots" > "slots"?

это ненормально