RF
все равно многовато
Size: a a a
2021 March 25
GB
все равно многовато
Можно попробовать шедулеру количество процессов порезать (во втором – parsing processes, в первом – max_threads)
GB
Если я не ошибаюсь, то максимальное количество коннектов считается так:
UPD: даже так
sql_alchemy_pool_size * (parallelism + 1)
Ну и оверфлоу ещёUPD: даже так
(sql_alchemy_pool_size + sql_alchemy_max_overflow) * max_threads + 1[Dag processor Manager] + 1[Main scheduler process]VS
но... почему 30 дагов насоздавали 100 коннекшнов?
О, могу рассказать, потому что не только даги забирают коннекшены
VS
Если я не ошибаюсь, то максимальное количество коннектов считается так:
UPD: даже так
sql_alchemy_pool_size * (parallelism + 1)
Ну и оверфлоу ещёUPD: даже так
(sql_alchemy_pool_size + sql_alchemy_max_overflow) * max_threads + 1[Dag processor Manager] + 1[Main scheduler process]Количество воркеров + веб сервер + шедулер забыл
VS
В базу лезут все, причем не одним коннектом
GB
Количество воркеров + веб сервер + шедулер забыл
Точно, воркеры ещё)
VS
А во второй версии с пикл вообще боюсь представить
GB
А во второй версии с пикл вообще боюсь представить
Ну кстати переехали вот на второй где-то ночью с 15-го на 16-е, на графике – максимум по коннектам к базе
RF
Ну кстати переехали вот на второй где-то ночью с 15-го на 16-е, на графике – максимум по коннектам к базе
а сколько это в числах?
GB
а сколько это в числах?
GB
Но это ~120 активных дагов)
GB
А во второй версии с пикл вообще боюсь представить
Ну и кстати я теперь топлю за второй и всем советую – даги летают просто атас, как быстро, там же теперь фоллоу-ап механизм, исключающий шедулера из принятия решений по запуску следующего таска, вообще исчез latency, всё теперь отрабатывает раза в четыре быстрее
VS
у нас по плану миграция на второй
GB
у нас по плану миграция на второй
Самая странная вещь при миграции, на которую я напоролся – LatestOnlyOperator теперь питонячью функцию не принимает, а просто (не-)скипает последующие таски
K
ребята, эирфлоу два ноль
GB
ребята, эирфлоу два ноль
А с кем играл?)
K
Он старые даги не удаляет автоматически, которых физически нет уже, там есть какой патч или нет?
K
у нас по плану миграция на второй
мы почти мигрировали дагогенератор
K
причем работает теперь и на второй и на первой версии