AT
ну масштабируемость и производительность это и есть поддержка, плюс новые версии, бакапы метадата базы...
Size: a a a
2020 November 25
VS
И ручные правки в базе
VS
И готовые пресеты удивляют, 250 дагов на 2 ядра и 2 гига - это прям лол кек чебурек...
AT
ну воркеры же автоскейлятся.. просто как минимум всегда придется платить за один воркер
ME
Что-то по статье ничего не увидел, кроме того, что вот вам готовый пресет airflow
интеграция с aws, как я понял
ME
логи будут в клаудвотче, нативные триггеры EMR, Glue и прочего
VS
Al T
ну воркеры же автоскейлятся.. просто как минимум всегда придется платить за один воркер
дорого выходит, с такими маленькими инстансами заводить 100500 воркеров
ME
Al T
ну воркеры же автоскейлятся.. просто как минимум всегда придется платить за один воркер
хм, у меня сейчас тупо 3 воркера для селери заведены)
VS
и опять таки, не понятно условие скейлинга
VS
если они поднимают воркеры просто из-за моргания очереди - то это ппц 🙈
ME
там встроенный воркер есть)
ME
1 бесплатно)
AT
ну я и имел это ввиду (что 1 воркер входит в стоимость)
P
ага. судя по всему, тоже жесткая привязка к ветке гита есть
PA
В кдауд билд есть настройка ветки, можно в любую
2020 November 26
ДН
Подскажите плиз, можно как-то быстро создать все даграны нового дага как выполненные, когда catchup = true?
И возможна ли жизнь externaltasksensor, когда catchup = false? Не пойму как в этом случае должна восстановится связь между дагами, если какой-то дагран может потенциально не существовать
И возможна ли жизнь externaltasksensor, когда catchup = false? Не пойму как в этом случае должна восстановится связь между дагами, если какой-то дагран может потенциально не существовать
GB
Всем привет!
Кто-нибудь уже попробовал AWS-managed Airflow?
Кто-нибудь уже попробовал AWS-managed Airflow?
PA
Всем привет!
Кто-нибудь уже попробовал AWS-managed Airflow?
Кто-нибудь уже попробовал AWS-managed Airflow?
токма гугловый(