Size: a a a

2020 June 21

С

Сюткин in Airflow
Diamond Lastone
у меня там процедура просто, значит сделаю обыкновенный sql
А в процедуру встроить сенсор не ?
Накинуть экспешенов
Оформить в виде отдельного флага
И дополнительно не нужен будет сенсор в airflow
источник

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
2020 June 22

E

Edya in Airflow
Коллеги, никто не сталкивался с проблемой стабильной длительной задержки (диапазон 20-80 секунд, в среденем 65 секунд) между завершением последнего таска и завершением самого рана?
источник

VS

Vladislav 👻 Shishkov... in Airflow
это зависит от производительности вашей системы и её настроек
источник

E

Edya in Airflow
Vladislav 👻 Shishkov
это зависит от производительности вашей системы и её настроек
Понимаю, что зависит. Возможно у кого-нибудь есть предложения и решал уже эту проблему?

Сейчас и так подкрутил все в конфиге (parallelism, threads, heartbeat ...), но это не сильно помогло. Может быть что-то конретное пропустил?
Смотрю на исходники LocalExecutor-a и там пока не могу понять причину такого поведения.
источник

VS

Vladislav 👻 Shishkov... in Airflow
в первую очередь зависит от производительности системы
источник

E

Edya in Airflow
в смысле ОС?
источник

OI

Oleg Ilinsky in Airflow
Сервер, база метаданных
источник

VS

Vladislav 👻 Shishkov... in Airflow
в смысле сколько ядер, каких, памяти
источник

VS

Vladislav 👻 Shishkov... in Airflow
как архитектурно все расположено, конкуренция шедулера с воркером...
источник

E

Edya in Airflow
Vladislav 👻 Shishkov
в смысле сколько ядер, каких, памяти
8 cpu Xeon 3.70GHz, 60+ гб памяти
источник

E

Edya in Airflow
единственное, что не проверял это бэкенндную базу
источник

VS

Vladislav 👻 Shishkov... in Airflow
и все стоит на одном сервере?
источник

E

Edya in Airflow
да
источник

VS

Vladislav 👻 Shishkov... in Airflow
вебсервер+шедулер+воркер+брокер?
источник

E

Edya in Airflow
да
источник

VS

Vladislav 👻 Shishkov... in Airflow
да уж
источник

E

Edya in Airflow
и не говори), но сейчас нужно именно эту проблему решить
источник

VS

Vladislav 👻 Shishkov... in Airflow
разделяй - будет решение
источник

OI

Oleg Ilinsky in Airflow
можно попробовать текущий сервер на виртуалки попилить для начала, чтобы ресурсы изолировать
источник