Спасибо) сейчас попробую

ваш вариант не запустился. Но помогло добавление разрешений в тут

Добрый вечер. Ну никак я не могу понять идеологию airflow. В документации сказано : This is a subtle but very important point: in general, if two operators need to share information, like a filename or small amount of data, you should consider combining them into a single operator. If it absolutely can’t be avoided, Airflow does have a feature for operator cross-communication called XCom that is described in the section XComs

Но разве сам процесс etl не подразумевает конвеерную обработку данных? Т. Е. Передачу информации от оператора к оператору?

Airflow - это не etl. Это шедулер

🤔 А для чего тогда выстраивать workflow?

Запустил задачу по тригеру и хорошо.

Добавляем к airflow базу данных или шину. И получается пакетный etl

Elt

Extremely Large Telescope?

Ну как бы можно сделать некоторую обработку через PythonOperator

Да, конечно. У меня там вообще pyspark внутри

Просто для передачи данных между тасками всё равно нужна база данных или очередь

Если данных много, то xcom не спасет, а без данных это не etl и не elt

Ну или файлики))

По-моему в него вообще типа где-то 48кб можно запихнуть только или нет?

не помню, давно от него отказались. Метаданные (динамическую структуру тасков и т.д.) записали в переменные airflow, а именно данные скинули в базу. Настолько проще жизнь сразу стала...

https://stackoverflow.com/questions/54545384/maximum-memory-size-for-an-xcom-in-airflow#:~:text=2%20Answers&text=According%20to%20the%20source%20code,maximum%20XCOM%20size%20is%2048KB.

вроде действительно 48кб у тех, кто код не правил

интересно, xcom вообще кто-то сейчас ещё использует?...