Но в целом юзать сабдаг зависит от того насколько большой пул можешь себе позволить

я бы смотрел в эту сторону
https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/trigger_dagrun/index.html

Коллеги, как понять фразу из поста 7 Common Errors to Check when Debugging Airflow DAGs
unless you're looking to run a backfill
если вы не хотите запускать обратную засыпку ? Спасибо!

опять же это для 2 эирфлоу

в первой версии тоже есть

имеется ввиду запуск дагов за пропущенные раны со start_date

Ребят, привет, подскажите, плиз, для версии 2.0.1 про запуск. В общем, по логам при запуске из UI я вижу, что запуск происходит с флагом --pickle, так как я записываю пиклы дагов и заполняю в таблице dag pickle_id. Но не могу воспроизвести такое поведение с использованием DebugExecutor с использованием dag.run().

Может кто-то работал уже с пиклами и знает, как запустить можно будет с этим флагом. Или может посоветуете как из консоли можно с такой фигней запустить

Всем привет, возникла проблема с PythonVirtualenvOperator, как выглядит оператор

   virtualenv_task = PythonVirtualenvOperator(
       task_id="virtualenv_python",
       python_callable=load_val_from_yh,
       requirements=["yfinance==0.1.59"],
       system_site_packages=False,
       dag=dag,
   )

Какая ошибка в итоге FileNotFoundError: [Errno 2] No such file or directory: 'virtualenv': 'virtualenv'

Так, по сборке, запускаю в контейнере на wsl2 куда и прокинуты volumes.

Никак не могу понять чё он хочет, вроде уже пересобрал чтобы в контейнере стояла либа virtualenv но все равно не хочет.

какая версия airflow?

Version : 1.10.9

Сталкивались?

а оператор откуда берете?

крч, похоже очень что у вас не встал virtualenv как надо

попробуйте вызвать его в среде, где запущен airflow через команду virtualenv

действительно... спасибо пойду копать дальше

попробуйте pip install apache-airflow[virtualenv]

👍🏻

спасиб

Хм, а если куберовский экзекьютор использовать, нельзя будет указать на очередь воркера? У меня сейчас селери и есть воркеры двух типов, на них софт, который конфликтует друг с другом и вместе нельзя использовать