ПРиветствую.
добавил в UI новое подключение к postgresql.
пробую подключится с ним, в хук не передается переменная, а используется стандартные

 def connection(self):
        src = PostgresHook(conn_name_attr='airflow_postgresql')
        src_conn = src.get_conn()
        cursor = src_conn.cursor()

сталкивался ли кто-нибудь с такой проблемой?

ребят , как вы настроили процесс ci/cd с  коннекшонами и энвайроментом

сча рест апи поддерживает работу с конекшонами и прочей радостью?

через энвы непонятно как всю экстру передавать и сложные структуры

if [ "${AIRFLOW__CORE__REMOTE_LOGGING,,}" = "true" ]; then
       export AIRFLOW__CORE__REMOTE_LOG_CONN_ID=u_S3_logs
       airflow connections --delete --conn_id ${AIRFLOW__CORE__REMOTE_LOG_CONN_ID}
       airflow connections \
             --add \
             --conn_id "${AIRFLOW__CORE__REMOTE_LOG_CONN_ID}" \
             --conn_type "s3" \
             --conn_login "${U_S3_LOGS_LOGIN}" \
             --conn_password "${U_S3_LOGS_PASSWORD}" \
             --conn_extra "${U_S3_LOGS_EXTRA}"
     fi

я так ☝️в entrypoint.sh

ну то есть нужно все таки на тачку с эирфлоу иметь доступ

энтрипоинт не оч, так как рестарт контейнера происходит

воркер посреди задачи не перезагрузишь

а реста нет?

🤷‍♂️ мне так хватило)

Слушайте, а у airflow нет каких-то глобальных колбэков, что закончился даг? Я сейвкс у некотооых прописал on_success, но это надо у каждого делать...

Не слышал про такие

можно в даге указать 'on_success_callback': some_function. А далее в ней проверять: все таски дага имеют статус SUCCESS or SKIPPED

да, это сделал) Хотелось прям одной командой во все даги сразу, без копипасты параметров)

что-то типа СloudWatch Events

можно сделать надстройку над DAG  - где предопределить это поведение, а в скриптах использовать MyDAG

Хорошая идея, спасибо!

=)

Можно ли засунуть даги на ftp и оттуда их подтягивать? Вот у меня есть 6 нод, и что-то уже надоело обновлять каждую мануально. Какие есть бест практисы ?