еще есть параметр templates_dict. Это почти то же самое, что op_kwargs, только там jinja темплейтится еще

да, про этот параметр мне тут уже пару сообщений назад рассказали. Вопрос только в том, он точно так же передаётся в метод execute, как и в python_callable PythonOperator?

Просто у меня в этой цепочке вторым идёт свой собственный оператор

Привет!
У меня вопрос :)
Последнее время появилась проблема - даг переходит в failed даже не запустившись. Причем не один и тот же даг, а разные, даже по несколько штук сразу. Если этот даг запустить вручную (выставить статус в running), то он начинает работать нормально.
Кто-нибудь сталикивался с такой проблемой? Или мб знает, куда копать?

Даг или таск в даге? У меня были с планировщиком проблемы, когда он слоты забивал все и задачи что не влезли в failed переводил

именно даг

таски вообще с пустыми статусами

И в логе пусто?

в логах тасков да, пусто
точнее, даже файлики за эти execution_date не создались
Если честно, не знаю, в каких еще смотрел, потому что в логах воркеров и шедулера тоже должно быть пусто, ибо таски не стартовали
Мб есть лог создания инстансов тасков/дагов или записи метаданных?

Вроде отдельного лога для этого не предусмотрено, мне кажется все в лог планировщика пишется. Так сходу даже не знаю куда копать, учитывая что вообще ни один таск не запускается

вот да) я поэтому и написал сюда
100+ человек все-таки

В нотификейншинах шедулера действительно нашел May  9 10:00:01  airflow_scheduler: [2018-05-09 10:00:01,610] {jobs.py:538} ERROR - Dag runs are deadlocked for DAG:dag_name

пока ничего дельного))

Интересно, что после удаления failed записей из таблички dag_run все запустилось

На SO пишут вот что
If you tried to run with trigger_dag in command line with an execution_date before start_date then it will deadlock because depends_on_past is True. Setting depends_on_past to False solved it for me.

Возможно там дагран был именно такой

Добрый день. Есть процедура на Sybase IQ
Процедура работает так: Генерит множество соединений с серверами, ходит на них и собирает нужные данные
Вызов на прямую работает, например "Execute proc".
Если пытаюсь передать вызов процедуры через оператор JDBCOperator, например "Execute proc", тогда происходит следующее:
На Sybase IQ стартует процедура, создает первое соединение, собирает данные по адресу соединения и завершается. Должна же работать так: генерить множество подключений и ходить по разным адресам, и собирать данные.
Повторюсь, сама процедура рабочая, она отрабатывает совершенно верно без airflow.
Может кто-то сталкивался с похожей проблемой?

если глянуть в логи, ошибок нет, все завершилось корректно.

а если дернуть эту процедуру по JDBC через какую-нибудь другую тулзу. например. Squirrel?

не пробывал