K
А чисто пальцем в небо: сабдагов там нет?
нет)
Size: a a a
2020 November 12
GB
Konstantin
нет)
Это хорошо)
K
часть дагов работают как скедулеры других тул, часть дагов гоняют спарк минут по 15-80
K
и больше всего проблем с первой половиной, тк если скедулеры быстро отрабатывают и иногда совпадает, что их много в один момент, то как обычно скедулер виснет и надо перезапускать его
GB
Konstantin
и больше всего проблем с первой половиной, тк если скедулеры быстро отрабатывают и иногда совпадает, что их много в один момент, то как обычно скедулер виснет и надо перезапускать его
В логи не падало про UniqueConstraintViolation?
K
я уже думаю запилить своего шуделрно подобного монстра, который с базой тоже сможет общаться и таски шедулить
GB
Кстати, тоже пальцем в небо: а база не sqlite?
K
В логи не падало про UniqueConstraintViolation?
неа
K
Кстати, тоже пальцем в небо: а база не sqlite?
не, постгрес или mysql
GB
Про мускул видел нехорошие вещи, но сейчас подтвердить источником не могу
K
есть один единственный спамящий ворнинг из-за оператора
DeprecationWarning: Importing 'BashOperator' directly from 'airflow.operators' has been deprecated. Please impo[24/1919]
airflow.operators.[operator_module]' instead. Support for direct imports will be dropped entirely in Airflow 2.0.
webserver_1 | DeprecationWarning)
DeprecationWarning: Importing 'BashOperator' directly from 'airflow.operators' has been deprecated. Please impo[24/1919]
airflow.operators.[operator_module]' instead. Support for direct imports will be dropped entirely in Airflow 2.0.
webserver_1 | DeprecationWarning)
K
но если много чего запустилось, то может вообще не быть логов
VS
Konstantin
+ еще так тюнили
AIRFLOW__CORE__PARALLELISM=2000
AIRFLOW__CELERY__WORKER_CONCURRENCY=500
AIRFLOW__SCHEDULER__MAX_THREADS=16
AIRFLOW__CELERY__WORKER_AUTOSCZLE=1000,500
AIRFLOW_CORE_NON_POOLED_TASK_SLOT_COUNT=2000
AIRFLOW__CORE__PARALLELISM=2000
AIRFLOW__CELERY__WORKER_CONCURRENCY=500
AIRFLOW__SCHEDULER__MAX_THREADS=16
AIRFLOW__CELERY__WORKER_AUTOSCZLE=1000,500
AIRFLOW_CORE_NON_POOLED_TASK_SLOT_COUNT=2000
2000? о_0 сколько у вас воркеров, какой брокер и какие лимиты на базе для бека?
MH
Konstantin
привет всем, подскажите пожалуйста, возсожно ли как-то перебороть боль у Airflow со скедулером.
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
Перейти на prefect
K
2000? о_0 сколько у вас воркеров, какой брокер и какие лимиты на базе для бека?
в итоге 5 оставили, при тестах до 20 доходило
Rabbit
про базы много инфы нет, но запрашивал постгрю 4 ядра и 16 гигов оперы
Rabbit
про базы много инфы нет, но запрашивал постгрю 4 ядра и 16 гигов оперы
K
Перейти на prefect
нельзя :/
VS
Konstantin
в итоге 5 оставили, при тестах до 20 доходило
Rabbit
про базы много инфы нет, но запрашивал постгрю 4 ядра и 16 гигов оперы
Rabbit
про базы много инфы нет, но запрашивал постгрю 4 ядра и 16 гигов оперы
5? Щ_Щ
VS
из крайности в крайность прям...
ставьте sum(2*core_on_worker)
ставьте sum(2*core_on_worker)
VS
AIRFLOW__CELERY__WORKER_CONCURRENCY ставьте как AIRFLOW__CORE__PARALLELISM/count_workers
VS
Про AIRFLOW__SCHEDULER__MAX_THREADS верно написали выше, ставьте максимум от количества ядер, минус один по желанию