Всем привет! Только-только решился переехать с pentaho на airflow (пока объёмы позволяют переехать). Задумался над тем как свой будущий ETL-пайплайн (со всеми зависимостями python) перетащить с машины локальной на сервак где всё добро будет выполняться по расписанию. А задумался, потому что изначально планировал закинуть пайплайн в докер. Мимо проскочила инфа, что пихать airflow в докер не лучшая идея из за не всегда корректной работы оного с датой/временем. Опыта нету пока поэтому спросить хочу коммунити. Подскажите пожалуйста действительно ли это не лучшая идея, и какие тут вообще могут быть варианты с упаковкой зависимостей и переноса всего этого? Можно ссылкой швырнуть =)

А кто как мониторит зависания шедулера?

ты про это?

я твой дом труба шатал?

Всем доброго. Хочу в SSHOperator загнать параметр из xcom, вот так же должно работать command="ssh /home/spark/rmsp_csv_temp/test_spark.sh {{ti.xcom_pull(task_ids='get_nifi_download_message', key='Message')[\"flowStatus\"][\"sourceDataset\"]}}",? Возвращает None, хотя сообщение есть в xcom с  таким ключом.

не понял, к чему придирка?

и что не так?

а не типо такого

{{ task_instance.xcom_pull(task_ids='calc_max_dt') }}

?