Всем привет, такой вопрос: как можно реализовать свой собственный JinjaTemplate, чтобы потом в sql квери заменить {{ table_name }} на название таблици например

https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html
Templating with Jinga и там про params читай

Вопрос новичка. Подскажите пожалуйста - стоит ли смотреть в сторону AirFlow для такой задачи?
Есть база в MySQL, из нее по расписанию надо выгружать в CSV и класть в S3 bucket несколько файлов (потоков). Продажи (чеки) за каждый предыдущий день и несколько вспомогательных справочников. У имен файлов есть определенный naming convention, в самих файлах надо уметь создавать динамические Headers, так же при выгрузке из SQL надо иметь возможность использовать таблицы мэппингов значений (например если значение в базе "АА" надо в файл писать "01"). Естественно надо хранить логи того что выгрузили, а так же по запросу иметь возможность "вручную" выгрузить данные за определенный период

А база - аврора?

airflow может запускать такое, но сам процессинг надо чем-то ещё делать...

Спасибо! База - MySQL8 (на VM в ЯндексCloud). Процессинг - имется в виду все данные мне надо подготовить в staging таблицах, а AirFlow сможет управлять расписанием, брать подготовленные данные, генерить CSV и выкладывать в S3?

По идее сам аирфлоу ничего не трансформирует, только оркестрирует (но можно сделать и так, конечно) например у меня он триггерит дамп базы данных mysql на s3 через sql команду. Также грузит обратно. Но у меня база аврора и там нативная поддержка s3.

Ok, спасибо!

Prefect тоже рекомендую рассмотреть. Скорее всего быстрее разберётесь и заюзаете.

O! Спасибо огромное

Aja Graves добро пожаловать в русскоязычное комьюнити airflow.

Все привет, ребят а что вы используете для трансформации данных и как это интегрируете с AF? пока у нас для оркетсрации AF, основная трансформация сущностей в информатике или функции прям в БД. Поделитесь опытом, плиз)

Aws glue job наприклад

AWS EMR, там запускаем спарк

а ещё спарк сделал локально на селери нодах, чтобы мелкие файлики процессить)

А кто использует perfect? Какие - и + по сравнению с airflow?

Я попробовал prefect, но у меня как-то некрасиво наложился вывод в консоль от tqdm (типа от третьей задачи печатало первым),  это скорее со стороны tqdm проблема (многопоточность)

На старом проекте использовали, на новом пока не определились на чем: Airflow, Luigi или Prefect, т.к мнения разделились поровну)

А в чем его плюсы и минусы по сравнению с аирфлоу

Сам перфект не юзали, но вот есть такая статейка может поможет
https://www.datarevenue.com/en-blog/airflow-vs-luigi-vs-argo-vs-mlflow-vs-kubeflow