суть в sqlite

localexecuter на sqlite - это sequentialexecutor

Я делал сиквентал на MySQL, он всё равно одну таску за раз делает)

Но чуть быстрее

про это написано в ссылке

спасибо, но когда я уже должен подставить значения их в админке прописывать
там где variables или где

sequential всегда будет одну, на то он и последовательный

всё чётко, увидел таску — сделал таску

У нас так сейчас прод живёт 😂

если airflow 8080 остановить потом запустить прописанные в админке connections остаются?

Речь про вебсервер? Он их сохраняет в базу данных

Игорь спасибо, никак не могу написать dag читает из  базы posgres
но как сохранить по простому резульат , там в файл?
Может подскажите, просто нет примера

Мы из mysql средствами дб писали дамп

Так быстрее будет

Подскажите, пожалуйста, столкнулся с такой проблемой:

Вводные: Airflow в AWS ECS, CeleryExecutor, Redis.
Запущены 2 типа воркеров с разными характеристиками (есть большая задача, которую никак не разбить на подтаски из-за коннекта к стороннему сервису).
Воркеры попроще запущены командой airflow worker -q default, помощнее – airflow worker -q heavy.

В даге создаётся около 10 сабдагов, в каждом из них ~90 тасков: первый – это ShortCircuitOperator, аргумент для инициализации – queue='default', второй – PythonOperator, ему нужно много ресурсов, ему передаю аргумент queue='heavy'.

В описании тасков в Web UI вижу, что разные очереди, в Postgres смотрю – вижу, что у тасков тоже разные очереди, но выполняют всё только default воркеры. В итоге ресурсы помощнее "проистаивают".

В Flower я тоже вижу только default очередь, что я мог пропустить в настройках?

UPD: по логам scheduler-а видно, что он отправляет все таски в default

Привет)
После переезда в облако даг запускается, но таски не стартуют. Как думате с чем может быть связано?

Воркеры работают нормально?

подскажите что здесб неправильно
with DAG('hook_dag’,
    default_args=default_args,
    schedule_interval= @once,
    catchup-False) as dag:

       start.task = DummyOperator(task_id='start_task')
       hook.task = PythonOperator (task_id='hook_task', python_callable=get_activated_sources)
       start_task » hook_task

пишет
The requested task could not be added to the DAG because a task with task_id create_tag_template_field_result is already in the DAG. Starting in Airflow 2.0, trying to overwrite a task will raise an exception.

так вы такс ид пытаетесь в очередь поставить , а нужно объекты

File "/root/airflow//dags/first_dag.py", line 9
   'owner':'airflow',
          ^
SyntaxError: invalid syntax