instantclient нужен же

И прописать его в нужные переменные в образе

Что логично, в документации airflow даже был пункт про установку

Так вот он установлен

Почему то не видет library

Все правильно, потому что надо после установки сделать env и симлинки

Ну вот симлинк не делал

ln -s который?

Спасибо

Попробую завтра прописать

Добро пожаловать в самое дружелюбное комьюнити.

как можно  SELECT из  кликхауса сохранять сразу в сжатый файл.

Если через request тащить и передавать все заголовки и параметры то все равно файл обычный выходит.

Через python библиотеку clickhouse-driver чет не пойму как сразу в файл запихнуть

Удалось через  requests

stream=True?

Ну да. Ещё smart_open кстати могу посоветовать для создания гзипнутых файлов везде

почитаю, спасибо

Привет! Подскажите, в какую сторону искать:

У меня есть 28 таблиц, которые нужно переложить из Postgres в Hive. Самый простой для меня способ - это цикл в одном таске, но хотелось бы чтобы таски для каждой таблицы запускались параллельно

Основной вопрос в том, как сделать так, чтобы в случае добавления новой таблицы не приходилось прописывать новый таск, а просто генерить их на основе названий и атрибутного состава

Лучше всего генерить даги динамически, а не таски в них