смотрите настройки вебсервера и где он запущен

может потоков не хватает, может мощностей

Я правильно понимаю если я запускаю баш оператор а сам Airflow находится в докере, то оператор будет выполняться внутри контейнера?

Если так, то какие варианты есть вылезти во внешнюю систему и там запустить bash скрипт?

никаких

на то это и контейнер

да, ssh operator

уххх, ssh из контейнера на хост систему?

да

могу вам сказать сразу, что архитектурно этот подход не стоит использовать

давайте начнем с простого, зачем вам надо выйти из контейнера и что-то запустить?

ну я уже понял что это какая то дич. Я хотел грузить в кликхаус данные через нативный клиент. Но походу придется либо по http, либо кликхаус дравейр ковырять

сразу в gz формате

а что мешает клиент поставить в контейнер?

действительно, чет я тупанул

там все заточено на получение данных

Всем доброго времени суток. Я сейчас начал изучать airflow, можете, плиз, подсказать, как правильно создать dag, который будет забирать данные из одной БД в другую. Сейчас у меня это все прописано в одной функции и соответственно один таск, в котором я подключаюсь к одной БД, сохраняю в pandas и передаю это дело в другую БД. Я бы хотел это реализовать двумя тасками, первый который забирает данные, а второй который сохраняет данные. Но никак не пойму как передать данные из одной функции в другую.

Или это делается путем промежуточного сохранения в текстовый файл?

а зачем бить на две таски?

Если обьем большой то придется в 4 таска :)