Size: a a a

2021 February 12

GB

Georgy Borodin in Airflow
Юрий Лифанов
Event cli worker в логах - это же вызов работника?
🤷
Не знаю, что за эвент такой, у меня просто контейнеры с командами
источник

ЮЛ

Юрий Лифанов... in Airflow
у меня не селери, в работающем стенде я так понимаю локал работники
источник

GB

Georgy Borodin in Airflow
Юрий Лифанов
у меня не селери, в работающем стенде я так понимаю локал работники
Ну тогда ответ будет в логах шедулера
источник

GB

Georgy Borodin in Airflow
Юрий Лифанов
у меня не селери, в работающем стенде я так понимаю локал работники
Ну и опять же, надо смотреть, какой Executor выбран в настройках, airflow весь может на одной тачке крутиться
источник

ЮЛ

Юрий Лифанов... in Airflow
Georgy Borodin
Ну и опять же, надо смотреть, какой Executor выбран в настройках, airflow весь может на одной тачке крутиться
sequential
источник

ЮЛ

Юрий Лифанов... in Airflow
в общем я понял, посмотреть, чем работники заняты, и логи шедулера
источник

GB

Georgy Borodin in Airflow
Юрий Лифанов
в общем я понял, посмотреть, чем работники заняты, и логи шедулера
Ага, ещё логи БД могут помочь
источник

ЮЛ

Юрий Лифанов... in Airflow
но я так понял Browse->Logs в веб морде - это логи не шедулера
источник

ЮЛ

Юрий Лифанов... in Airflow
или опять чушь порю?
источник

GB

Georgy Borodin in Airflow
Юрий Лифанов
но я так понял Browse->Logs в веб морде - это логи не шедулера
А как развёрнут? Если с докером – то надо смотреть логи контейнера, если не в докере – то кто-то другой подскажет, я без него и не запускал)
источник

ЮЛ

Юрий Лифанов... in Airflow
окей, насколько я знаю, он не в контейкере
источник

ЮЛ

Юрий Лифанов... in Airflow
спасибо большое, добрый человек, за помощь
источник

➔m

➔◾ maria myznikova... in Airflow
Illia Zubovich
Зачастую сталкиваюсь с одной и той же проблемой.

Executor reports task instance <TaskInstance: 2020-06-02 21:18:26.091615+00:00 [queued]> finished (failed) although the task says its queued. Was the task killed externally?

То airflow, обновят, то код не
везде поменяю. Как уйти от этого навсегда? Не подскажете?
А вы не разобрались с этой штучкой? 😐
источник

➔m

➔◾ maria myznikova... in Airflow
Всем привет, не могу разобраться, почему бекфилл не отрабатывает через консоль — отрабатывает, только если после создания “упавшего” с ошибкой как выше инстанса очистить и запустить его через гуй (!) — Но это каждый таск по одному через ignore task state etc.
источник

➔m

➔◾ maria myznikova... in Airflow
А в консоли пишет “Executor reports task instance <TaskInstance: **** 2021-02-05 02:30:00+00:00 [queued]> finished (failed) although the task says its queued. Was the task killed externally?
NoneType: None.
источник

➔m

➔◾ maria myznikova... in Airflow
флажок “реран фейлд таскс” и --reset_dagruns пробовала
источник

➔m

➔◾ maria myznikova... in Airflow
Нагугленные SOF’ы все про какие-то сенсоры и параллелизм, тут такого ничего нет, просто PythonOperator, SequentialExecutor, что-то такое.
источник

IZ

Illia Zubovich in Airflow
➔◾ maria myznikova
А вы не разобрались с этой штучкой? 😐
Нет
источник

➔m

➔◾ maria myznikova... in Airflow
Illia Zubovich
Нет
Спасибо за ответ. Жаль
источник

AS

Aleh Sauko in Airflow
подскажите пожалуйста: можно как-то из PythonVirtualenvOperator достать конфиги, которые через UI отправляются?
В  PythonOperator работает kwargs['dag_run'].conf[..], а в PythonVirtualenvOperator нет ((
источник