Привет.
У меня даги ранятся параллельно. Некоторые из них потребляют намного больше ресурсов, чем другие.
Я добавил priority_weight, но он не особо помогает.
Насколько я понимаю количество запущеных субдагов = вес / пул ?

локально

возможно ты все сразу установил, а там есть не совместимые между собой пакеты

хмм, возможно ты прав, но я вроде для kuber пакеты не ставил в зависимостях

Причём тут сабдаги?)
priority_weight – это для шедулера, если есть две таски, готовые попасть в запуск – приоритет той, у которой вес больше.
Пул – просто ограничение того, сколько тасков может быть одновременно запущено

Задачу распределения по воркерам относительно ресурсов можно решить, используя queue. Одних воркеров подписать на одну очередь – других на с тяжелыми тасками

вот такой stack trace - Broken DAG: [/root/airflow/dags/spark_dag.py] Traceback (most recent call last):
 File "/usr/local/lib/python3.8/site-packages/airflow/providers/apache/spark/hooks/spark_submit.py", line 32, in <module>
   from airflow.kubernetes import kube_client
 File "/usr/local/lib/python3.8/site-packages/airflow/kubernetes/kube_client.py", line 101, in <module>
   ) -> client.CoreV1Api:
NameError: name 'client' is not defined

может в конфиге где выставлен кубер?

а где именно посмотреть в airflow.cfg?

я сейчас установил с нуля и он дествительно требует пакеты для кубера как зависимость, но сейчас не ругается а просто не закидывает DAG вообще

какой командой устанавливал?

в конфиге в параметре executor

SequentialExecutor по дефолту - сейчас появился

кстати

но пока не проверил еще работу

все отлично разобрался спасибо) единственный момент, как мне в аргументах передать то что у меня master нода  не yarn а spark://spark:7077

может быть там есть именованный аргумент какой?

Добрый день. Подскажите пожалуйста. Делаю SQL сенсор и пока в этом даге сенсор не отработает, остальные даги не выполняются, т.е. сам сесор постоянно в рабочем состоянии, хотя ожидание настроено на 30 минут

На сколько я понял, сенсор должен проверить, есть ли нужная строка в таблице (это в моем случае), если нет, то засыпать и все остальные даги должны работать нормально

День добрый, подскажите пожалуйста насколько нормально появление на доли секунд зомби процессов [airflow schedul] и мгновенное их прибитие(и так по кругу)?

кажется, это mode='reschedule' у сенсора