Там же есть функция для этого в api

Кто-нибудь пытался делать динамические pool?

чтобы он с 12 до 0 был один, а с 0 до 12 другой?

А что сложного?

Спасибо

Спасибо, орнул

что-то не очень понял) что за api?

А почему я не могу вызвать сенсор из функции?)

   for file in fls_to_copy:
       src = '/pilot/ods_amn_logging/kosyak_init_load/'
+ file
       filepath ='/user/Ext-A.Kosyakina/ext_a_kosyakina.db/eventjson_tmp/'
+ file
       webhdfsconn=get_webhdfs_conn_id()
       copy_command = 'hdfs dfs -cp {src} {dest}'.format(src = src, dest = parameters['trnst_dir'])
       conn.exec_command(copy_command)
       WebHdfsSensor(webhdfs_conn_id=webhdfsconn, filepath=filepath )

Выдает в лог просто:

WARNING - --- Logging error ---
INFO - [2020-09-30 12:32:26,858] {{local_task_job.py:103}} INFO - Task exited with return code 1

У сенсора вроде есть настройки такие

Привет, кто-нибудь сталкивался с проблемой, когда при запущенных airflow webserver и airflow scheduler любые потоки падают с пустым логом?

dummy task отрабатывает, а далее любой оператор крашится без описания.

Ну там либо дельта, либо callable объект.
Но и то и другое нельзя же задать без изменения кода.

А, я думал код сенсора не менять) а так да, надо функцию написать свою

Сталкивался. Было такое когда сидел на LocalExecutor

Только падали не любые, а некоторые.

Буквально вчера связал даги сенсорами как указано в демо-джобах. И сюрприз. Из гуя валится с ошибкой при попытке очистить зафейленный джоб. Из CLI работает.

Абсолютно все падает, кроме dummy task.

а если через airflow test запускать? Тоже голый вывод?