Д
В такой конфигурации сможем работать?
Size: a a a
2020 June 18
Д
Как лучше настроить?
SG
Дима
Как лучше настроить?
Ну я выскажу свой опыт. Короче, стоит выселить не базу постгри, а воркер, разве что. И это будет довольно отличный, но... Какие у вас нагрузки?
Д
У нас потребность в оркестрации запуска процедур в базе + запуск джобов на информатике + немного etl
Д
Ориентировочно все это будут делать порядка 600 дагов
Д
400 из которых только запускают процедуру на терадата и ждут ее выполнения
SG
Дагов или тасков?
Д
Дагов
SG
Дима
400 из которых только запускают процедуру на терадата и ждут ее выполнения
Я боюсь, что ваш аерфлоу лопнет)))00
SG
У вас есть машина, которая потянет 400+ воркеров?
Д
Так зачем на одновременно все запускать
Д
У нас предусмотрено что одновременно могут работать 12 дагов
Д
За счет привязки дагов к пулам
SG
А по сколько тасков в этих дагах?
SG
Просто звучит очень интересно для одной машины
Д
В большинстве своём из 400 дагов в каждом даге будет по 3-4 таска
VS
да нормально звучит, если там нормальная машина
SG
"Нормальная" — это какая?
VS
базу отдельно, airflow отдельно
VS
когда пойдут нагрузки, будут масштабироваться