АЖ
ну окей, только это все равно выглядит стремно при падении Airflow
Size: a a a
2020 August 21
AN
ну окей, только это все равно выглядит стремно при падении Airflow
чем стремно? Стрим джобы работают себе и работают
AN
когда аирфлоу поднимется, все дальше продолжить работать без последствий
ДН
Стриминговые сервисы кмк проще демонами просто держать.
Тем более в кубике это проще простого делать, и никакой airflow для этого не нужен.
Что-то упало? Куб сам переподнял. Что-то изменили? helm + ci/cd.
Тем более в кубике это проще простого делать, и никакой airflow для этого не нужен.
Что-то упало? Куб сам переподнял. Что-то изменили? helm + ci/cd.
AN
Стриминговые сервисы кмк проще демонами просто держать.
Тем более в кубике это проще простого делать, и никакой airflow для этого не нужен.
Что-то упало? Куб сам переподнял. Что-то изменили? helm + ci/cd.
Тем более в кубике это проще простого делать, и никакой airflow для этого не нужен.
Что-то упало? Куб сам переподнял. Что-то изменили? helm + ci/cd.
так тоже можно.. но из арфлоу удобнее тем, что
* можно поды по определенной логике на питоне поднимать
* все интеграции в одном месте будут собраны
* можно мониторить статус сервиса
* можно поды по определенной логике на питоне поднимать
* все интеграции в одном месте будут собраны
* можно мониторить статус сервиса
ДН
а какая может быть логику у старта пода? у вас есть манифест, и ваше приложение в контейнере
они и в кубе все в вашем NS
разве что статус вы и увидите, без нормальных метрик на проде не выжить, а если вы их собираете, то всякого рода хелсчеки собираются на изи
они и в кубе все в вашем NS
разве что статус вы и увидите, без нормальных метрик на проде не выжить, а если вы их собираете, то всякого рода хелсчеки собираются на изи
ДН
а помимо прочего вам и за airflow еще придется следить, который еще ложку дегдя добавляет)
картиночку вспомнил на эту тему
картиночку вспомнил на эту тему
AN
а какая может быть логику у старта пода?
- разные параметры в зависимости от окружения
- запускать или не запускать
- запустить несколько подов для одного имиджа с разными параметрами в зависимости от ситуации
- разные параметры в зависимости от окружения
- запускать или не запускать
- запустить несколько подов для одного имиджа с разными параметрами в зависимости от ситуации
АЖ
ci/cd + helm? 🙂
AN
ci/cd + helm? 🙂
это если нужно один раз запустить. А если динамически?))
AN
по событию
AN
как не крути python-код над запуском подов из Airflow добавляет дополнительную гибкость. Иногда она нужна
AN
иногда нет
ДН
Artem Nazarenko
а какая может быть логику у старта пода?
- разные параметры в зависимости от окружения
- запускать или не запускать
- запустить несколько подов для одного имиджа с разными параметрами в зависимости от ситуации
- разные параметры в зависимости от окружения
- запускать или не запускать
- запустить несколько подов для одного имиджа с разными параметрами в зависимости от ситуации
параметры в ci/какой-то инфраструктуре вашего патча (например если дев-контур не один)
запускать!
если надо по расписанию с каким-то интервалом - cronjob
вручную разок пнуть - kubectl
запускать!
если надо по расписанию с каким-то интервалом - cronjob
вручную разок пнуть - kubectl
ДН
дело конечно ваше, но подумайте хорошенько, действительно ли оно вам больше преимуществ даст, чем проблем от поддержки airflow
AN
параметры в ci/какой-то инфраструктуре вашего патча (например если дев-контур не один)
запускать!
если надо по расписанию с каким-то интервалом - cronjob
вручную разок пнуть - kubectl
запускать!
если надо по расписанию с каким-то интервалом - cronjob
вручную разок пнуть - kubectl
это все альтернативные варианты. Но почему из аирфлоу нельзя дернуть из KebernetesOperator? - Элементарно же делается:. Даешь yaml на вход и под запускается когда тебе надо и с нужными параметрами. Хочешь по расписанию, хочешь прямо сейчас (Trigger Dag)
AN
и все интеграции будут собраны в одном месте и управляться одним оркестратором. А не то что где-то там cronjob, где-то еще чего))
AN
дело конечно ваше, но подумайте хорошенько, действительно ли оно вам больше преимуществ даст, чем проблем от поддержки airflow
согласен, это тема для размышлений.. Куча вариантов решений
AN
попробую, потом поделюсь опытом
Д
Привет!