ДН
Мы. Даем на большинство тасок именно по 100m
И как быстро под стартует таску?
Size: a a a
2021 January 06
P
И как быстро под стартует таску?
Обычно за пару сек
ДН
А хуже когда-то у вас бывало? что-нибудь тюнили чтобы ускорится? или сразу такую скорость получили?
P
А хуже когда-то у вас бывало? что-нибудь тюнили чтобы ускорится? или сразу такую скорость получили?
В целом, только кол-во воркеров
ДН
о каких воркерах речь? ноды самого куба?
P
о каких воркерах речь? ноды самого куба?
Воркеры эйрфлоу
P
о каких воркерах речь? ноды самого куба?
Когда естественным путем упирались в лимиты куба (росло число тасок, таски становились сложнее, прожорливее), то накидывали 1-3 ноды в кластер куба и все приходило в норму
ДН
Воркеры эйрфлоу
А какие воркеры у k8s executor? Там же просто 1 таск = 1 под
P
А какие воркеры у k8s executor? Там же просто 1 таск = 1 под
Ну, у нас эйр не запускает поды коробочным оператором. У нас своя обертка.
Суть не меняет.
Воркер - это процесс эйрфлоу.
Суть не меняет.
Воркер - это процесс эйрфлоу.
ДН
Ванильный k8s executor требует достаточно весомого кол-ва ресурсов чтобы под быстро стартанул таску (сейчас 0.5 ядра я поставил, чтобы это меньше 5 секунд занимало)
Мне интересно можно ли это как-то тюнить, или придётся смирится с тем сколько на это ресурсов требуется.
Мне интересно можно ли это как-то тюнить, или придётся смирится с тем сколько на это ресурсов требуется.
P
Ванильный k8s executor требует достаточно весомого кол-ва ресурсов чтобы под быстро стартанул таску (сейчас 0.5 ядра я поставил, чтобы это меньше 5 секунд занимало)
Мне интересно можно ли это как-то тюнить, или придётся смирится с тем сколько на это ресурсов требуется.
Мне интересно можно ли это как-то тюнить, или придётся смирится с тем сколько на это ресурсов требуется.
Если че, не супер-сложно сделать свою обертку для запуска тасок в докере.
Обернуть лучше какрй-то вернеуровневой управляющей абстракцией, например, Job’ом
Обернуть лучше какрй-то вернеуровневой управляющей абстракцией, например, Job’ом
ДН
Да можно конечно, но это лишние компоненты.
Хотелось бы попроще, если это возможно.
Спасибо за помощь)
Хотелось бы попроще, если это возможно.
Спасибо за помощь)
2021 January 07
m
Всем привет. Есть желание добавить pg_bouncer на postgres backend для аирфлоу. Кто пробовал, подскажите, есть ли особенности настройки баунсера с аирфлоу?