Телеграмм чат группы ruairflow страница 1409

Если я правильно понимаю, то при работе с LocalExecutor, задачи исполняет сам вебсервер, или шедулер в своих воркерах, а вот при Celelery это делают отдельные ноды. Но могу заблуждаться.

источник

17:56пожаловаться #10

Anton in Airflow

спасибо!

источник

19:10пожаловаться #11

Andrey Smirnov in Airflow

всем привет, как остановить SparkOperator запускающий job в yarn?
перевод в состояние failed в ui не помогает
airflow 2.0.1

источник

21:09пожаловаться #12

Руслан in Airflow

можно через yarn напрямую

источник

21:10пожаловаться #13

Руслан in Airflow

yarn application kill ...

источник

21:10пожаловаться #14

Andrey Smirnov in Airflow

не, это понятно, хочется через ui в airflow

источник

21:10пожаловаться #15

Vladislav 👻 Shishkov... in Airflow

никак

источник

21:11пожаловаться #16

Andrey Smirnov in Airflow

а почему, там же есть код на
def on_kill(self) -> None:
"""Kill Spark submit command"""
self.log.debug("Kill Command is being called")
только в логах я не вижу его вызова

источник

21:12пожаловаться #17

Vladislav 👻 Shishkov... in Airflow

что-то я не вижу такого кода там

источник

21:15пожаловаться #18

Vladislav 👻 Shishkov... in Airflow

ага, нашел

источник

21:18пожаловаться #19

Andrey Smirnov in Airflow

странно, не дает отправить ссылку на гитхаб

источник

21:19пожаловаться #20