есть варианты)

Да, я вот люблю docker-compose up -d ) 😁

Это контениризация уже
Меня это не интересует

или вот https://hub.docker.com/r/apache/airflow

Ну это тоже вариант установки)

Ребят, кто-то сталкивался с таким эксепшеном. Переодически в разных дагах падает.

Localexecutor 2.0.1

Reason: (psycopg2.OperationalError) could not translate host name "postgres" to address: Temporary failure in name resolution

(Background on this error at: http://sqlalche.me/e/13/e3q8)

Airflow не в докере часом вместе с постгрей?
Скорее всего где то в конфигах мелькает "postgres" в роле адреса ( дефолтно там airflow хранит свою мету ).

Да верно

Jairo Raphael добро пожаловать в русскоязычное комьюнити airflow.

Скорее всего надо покрутить сетку в композе, тут для меня загадка почему валится "иногда",  а не всегда )

Спасибо большое. Пойду мучить devops Ов)

Всем привет!
    Никто не сталкивался с подобной задачей - выйти из python скрипта так, чтобы task при этом остался success?
    Я пробовал sys.exit(0), quit() - не помогает. Можно return'ом выходить. Но не очень удобно если он вложенный т.к. придётся тогда каждый выход из функции обрабатывать.
   Пример:

def test_func():
     print(datetime.datetime.now(pytz.timezone("Asia/Vladivostok")))
     sys.exit(0)

default_args = {
    'owner': 'owner',
    'depends_on_past': False,
    'retries': 1,
    'retry_delay': datetime.timedelta(minutes=5),
}

with DAG('dag_test',
         description='dag_test',
         default_args=default_args,
         schedule_interval=datetime.timedelta(minutes=10),
         start_date=datetime.datetime(2021, 5, 29, 13, 10, 0, tzinfo=local_tz)) as dag:


    task1 = PythonOperator(
        task_id='test',
        python_callable=test_func
    )

    task1

Если честно, вообще не понял проблемы с использованием return

Привет, ну если у тебя функция, когда ты пишешь return, у тебя выход из функции. Теперь, например, представь, если условие, после которого ты хочешь выйти самое "родительское". Cледовательно, тебе придётся обрабатывать каждый выход из дочерних функций, что как бы не очень хочется. Хочется взять и выйти из родительской сразу, как это бы ты сделал в обычном скрипте. Например, написать
if (условие): sys.exit(0).

И все ещё не понимаю. Если условие проверяется в "родительской" функции (та, что передавалась в оператор), то и делать в ней же return. Причем тут вызовы каких-то других функций? Можешь описать задачу?

Либо ты хочешь прерывать все исполнение в дочерней функции. Для этого нужно в ней кидать кастомное исключение, а в родительской его перехватывать в try блоке и в нем точно так же делать return

Возможно, я неправильно выразился. Как раз таки условие, после которого я хочу выйти, не у той функции, которую я передаю в оператор. А у той функции, которая вызывается в ней (которая передаётся в оператор) функции.

Ну это второй вариант из моего сообщения

Привет ;)

Сделай системд файл - старт стоп и тд.
В конфиге аирфлоу сделай указание, куда писать логи, откуда писать даги и так далее