Если ищете ещё решения, то ещё у второго Jenkins есть пайплайны. Я знаю минимум двух хороших инженеров которые сдались настраивать и ковырять "вечно бажный airflow" и использовали Jenkins.

У Jenkins есть плагин Pipelines, который может триггерить по событиям определенные действия, элементы пайплайна пишутся на groovy. У groovy есть всякий sql, и он умеет из коробки тоже параллельно запускаться на нескольких нодах, судя по докам. Если у вас он уже есть, airflow может оказаться лишним

Мне кажется это не про многообразие источников и etl

Вам не кажется :)

Друзья, кто может помочь экспертно проконсультировать по созданию архитектуры DB на OLAP noSQL PostgresSQL - за вознаграждение или спасибо большое) минут 20-40)

В каком формате вы это видите?

Странная ерунда

в формате разговора по телефону ) извиняюсь если по теме

раз пошли такие разговоры)))... Друзья! У кого-нибудь есть ссылки на проекты где джанго дружит с центрифуго? мне бы код одним глазком глянуть

без смс и регистрации

ладно, сам буду документацию читать(

Airflow variables

✌️

Именно! 🤟

Чё это было?

Одобрение. Какие хорошие примеры их использования знаете?

Как пример:

ALERT_MAILS = Variable.get('alert_mails')

default_args = {
    'owner': OWNER,
    'depends_on_past': DEPENDS_ON_PAST,
    'start_date': START_DT,
    'email': ALERT_MAILS,
    'email_on_failure': EMAIL_ON_FAILURE,
    'email_on_retry': EMAIL_ON_RETRY,
    'retries': RETRIES,
    'pool': POOL
}

Список получателей писем от airflow

Или например список подключение который нужно использовать в даге