а по стабильности? кто то уже пробовал

Привет
Есть подозрения, что  kwargs не хочет дружить с SparkSubmitOperator или я его не правильно использую?
Идея следующая - указать в spark_config доп конфиги, которые дополнят "conf"
Как я заметил доп конфиги через **spark_config не подтягиваются

spark_config = {
....
}

spark_operator = SparkSubmitOperator(
   task_id="...",
   application_args=[
    .....
   ],
   conf={
    .....
   },
   **spark_config
)

Например, один жизненно важный когфиг при добавлении в spark_config не работает, а в conf все отлично

Добро пожаловать в самое дружелюбное комьюнити.

Всем привет
Подскажите, пожалуйста, как поменять путь установки airflow2 по умолчанию?
export AIRFLOW_HOME перед установкой не работает

Привет. Речь про директорию где конфиг лежит?

Да

Всем привет
Кто-то пробовал подружить airflow-clickhouse-plugin и airflow 2?

Всем привет!
Кто либо использует airflow и QlikView, Qlik Sense, NPrinting (продукты от qliktech) ?

Если нет, то мб кто нибудь может отправить меня почитать информацию по использованию API других продуктов из самого Airflow ?

А какая последовательность действий? У меня Airflow не игнорит эту переменную

скорее всего как-то не так запускаете, например через systemd(там в сервисе свои env прописаны). Надо делать airflow webserver или в файле airflow-webserver.service переопределить

Криво сделали уз🤷🏻‍♂️
Завели новую и всё заработало

Добро пожаловать в самое дружелюбное комьюнити.

Всем привет!
Застрял на запуске докера с Airflow. Нужен на постгрес, локал-экзекьютор.
Взял за основу код puckel/docker-airflow
Демо-примеры работают, но когда добавляю в Dockerfile свои команды - они не срабатывают. requirements.txt тоже не запускается, поэтому Airflow для моих дагов не находит нужных библиотек.

В чём может быть дело? Ощущение, что выполняется только docker-compose, в котором два сервиса:
postgres:
       image: postgres:9.6
webserver:
       image: puckel/docker-airflow:1.10.9

которые строятся из указанных образов. А всё, что в докефайле - игнорируется.

Привет! Покажи docker-compose

Для того чтобы compose собирал новый образ, там у сервиса должна быть инструкция build, скорее всего её нет

Если ты делаешь свой Dockerfile, то его нужно положить в папку, а в файле docker-compose строку image: chto-to поменять на build: <build_context_path> (часто Dockerfile и docker-compose держат в одной директории, тогда пишут build: .)

Да, в докер-компоуз нет инструкции build. Я просто беру ветку puckel/docker-airflow на гитхабе, но проблема в том, что если запускать докер-компоуз, то Airflow не видит библиотеки из requirements.txt, а если отдельно запускать Докерфайл - не запускается.

К сожалению, в чате удаляются ссылки и большие тексты

Sergey Maslow:
Докер-компоуз выглядит так:

version: '3.7'
services:
   postgres:
       image: postgres:9.6
       environment:
           - POSTGRES_USER=airflow
           - POSTGRES_PASSWORD=airflow
           - POSTGRES_DB=airflow
       logging:
           options:
               max-size: 10m
               max-file: "3"

   webserver:
       image: puckel/docker-airflow:1.10.9
       restart: always
       depends_on:
           - postgres
       environment:
           - LOAD_EX=n
           - EXECUTOR=Local
       logging:
           options:
               max-size: 10m
               max-file: "3"
       volumes:
           - ./dags:/usr/local/airflow/dags
           # - ./plugins:/usr/local/airflow/plugins
       ports:
           - "8080:8080"
       command: webserver
       healthcheck:
           test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
           interval: 30s
           timeout: 30s
           retries: 3

Т.е. раз тут нет build, то Dockerfile не запускается, а просто берутся два готовых образа из докер-хаба? Тогда не понимаю, зачем на гитхабе в репозитории puckel/docker-airflow есть докер-файл? Пытался запустить его отдельно не вышло. Сейчас проблема в том, что при запуске текущего докер-компоуз, Airflow не находит библиотеки из requirements.txt.