Всем привет, ребят а куда смотреть если при старте дага половина тасок сразу улетает в retry? При следующем запуске они отрабатывают. Причем выпадают в retry без логов, и как бы "попытка запуска" не засчитывается тоесть инкремент retry не увеличивается, следующий удачный запуск покажет что это первый запуск. По ресурсам на нодах все в порядке, шедулер тачка 16 cpu. Все это происходит в Google Cloud Composer, версия Airflow 1.10.14

коллеги кто то может подсказать по ошибке выше? очень надо

sql_alchemy_pool_recycle = 900
у  меня есть airflow сессии в idle более 3х месяцев, разве они не должны закрываться через 15 минут с sql_alchemy_pool_recycle = 900?
🥲

если я просто запросиком в кроне их буду килять это норм?

Коллеги, привет. У кого есть опыт работы с docker-операторами . Как посоветуете сделать, чтобы каждый воркер запускался в своем контейнере?

Всем привет. Подскажите как передать между тасками объекты python? XCom ругается, что не может сериализовать JSON. Если передаю строки то все норм, но надо объекты.

if conf.getboolean('core', 'enable_xcom_pickling'):
           return pickle.dumps(value)

https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/models/xcom.html

Попробуй включить это

Ну собственно ошибка в логах говорит о том же, просто думал есть еще какие то способы. Спасибо)

Подскажите, пожалуйста, какой пакет надо в эирфлоу 2.0 поставить, чтобы хук cassanra импортировать? В 1.10.* было
from airflow.providers.apache.cassandra.hooks.cassandra import CassandraHook

Или мб где-то есть маппинг всего этого добра? А то икать на каждый импорт больно тяжко.

на гитхабе в репе вроде по коду можно узнать

https://airflow.apache.org/docs/#providers-packages-docs-apache-airflow-providers-index-html
Там есть ссылочки на все провайдеры, в каждом есть название пакета, который надо поставить

Mauro добро пожаловать в русскоязычное комьюнити airflow.

cхоронил к себе) большое спасибо)

Всем добрый день! Ребят, подскажите пожалуйста в чем может быть причина такого безобразия (все работало норм, в один прекрасный момент эти самые ошибки)
———————————————————————-
FutureWarning: The hostname_callable setting in [core] has the old default value of 'socket:getfqdn'. This value has been changed to 'socket.getfqdn' in the running config, but please update your config before Apache Airflow 2.1.
—————————————————————————
 warnings.warn(
/home/meganalytics/.pyenv/versions/3.8.2/lib/python3.8/site-packages/airflow/configuration.py:268: FutureWarning: The navbar_color setting in [webserver] has the old default value of '#007A87'. This value has been changed to '#fff' in the running config, but please update your config before Apache Airflow 2.1.
—————————————————————————-
 warnings.warn(
/home/meganalytics/.pyenv/versions/3.8.2/lib/python3.8/site-packages/airflow/configuration.py:332: DeprecationWarning: The log_format option in [core] has been moved to the log_format option in [logging] - the old setting has been used, but please update your config.
 option = self._get_option_from_config_file(deprecated_key, deprecated_section, key, kwargs, section)
/home/meganalytics/.pyenv/versions/3.8.2/lib/python3.8/site-packages/airflow/configuration.py:332: DeprecationWarning: The simple_log_format option in [core] has been moved to the simple_log_format option in [logging] - the old setting has been used, but please update your config.
 option = self._get_option_from_config_file(deprecated_key, deprecated_section, key, kwargs, section)

А в чём вопрос, всё же написано?)

Ок, но как обновить конфигурацию? Что под этим вообще подразумевается?

конфиг - это файл airflow.cfg, его нужно отредактировать