у меня 2 одинаковых энвайронмента - на одном 5 дагов, на втором 50, задержки возникают там где 50, неужели количество дагов так сильно влияет на перформанс? насколько я знаю, у некоторых людей по 200+ дагов крутится и все норм...

может от экзекьюторов зависит или от ресурсов шедулера...

Может это поможет: https://stackoverflow.com/questions/51558313/what-is-the-difference-between-min-file-process-interval-and-dag-dir-list-interv/51569197#51569197

[2020-07-10 17:27:25,061] {bash_operator.py:130} INFO - Command exited with return code 0
[2020-07-10 17:27:25,069] {taskinstance.py:1145} ERROR - (_mysql_exceptions.IntegrityError) (1062, "Duplicate entry 'telegram_send_report-send_report_command-2020-07-10 13:40:04' for key 'PRIMARY'")
[SQL: INSERT INTO rendered_task_instance_fields (dag_id, task_id, execution_date, rendered_fields) VALUES (%s, %s, %s, %s)]

Если кому понадобится - исправил альтером таблички

alter table `rendered_task_instance_fields` change `execution_date` `execution_date` TIMESTAMP(6) not null;

всем привет как решить вот такую боль?
Broken DAG: [/home/airflow/gcs/dags/CostUploaderInternationalDagDocker.py] cannot import name 'APIClient'
composer-1.8.3-airflow-1.10.3

ну, э, а что за APIClient ? ты его вообще в python окружение установил ?

ну этот Апи клиент из докера

import docker всегда делал, никакого APIClient не видел

короче, с тебя
1. версия питона, под которым работает эйрфлоу
2. список пакетов именно из этого окружения (я так полагаю скрин получен при помощи pip freeze?)
3.исходный код дага (хотя бы первые 10 строчек с импортами)

сча

1. 3.х
2. список пакетов актуальный. так как у меня на google composer
3.
from airflow import DAG
from datetime import datetime, timedelta
from airflow.operators.docker_operator import DockerOperator

schedule_interval = "0 * * * *"

default_args = {
   'owner': 'a_panchenko',
   'start_date': datetime(2020, 5, 29),
   'email': ['a_panchenko@xxx.com'],
   'retries': 10,
   'dags_are_paused_at_creation': False,
   'retry_delay': timedelta(minutes=1)
}

with DAG('CostUploaderInternationalDagDocker', default_args=default_args, schedule_interval=schedule_interval,
        template_searchpath=['/home/airflow/gcs/dags/'], catchup=False) as dag:

composer-1.8.3-airflow-1.10.3

фигня какая-то, оно, что ли на
> from airflow.operators.docker_operator import DockerOperator
ломается ?

ага

попробуй не docker-py,  а модуль docker 🤷‍♂️

это дурацкое предположение, но мало ли )

да, да щас буду это делать