AN
Хочется иметь возможноcть запускать Airflow как в k8s кластере, так и docker-compose версию, чтобы не нужно было ставить k8s. Как лучше организовать деплоймент в таком случае?
Size: a a a
2020 August 21
СХ
Artem Nazarenko
Хочется иметь возможноcть запускать Airflow как в k8s кластере, так и docker-compose версию, чтобы не нужно было ставить k8s. Как лучше организовать деплоймент в таком случае?
никак. брать оператор для кубера
СХ
а про компос забывать
AN
А насколько необходим kubernetesExecutor в этом случае?
AN
сейчас у меня Celery
СХ
Artem Nazarenko
сейчас у меня Celery
😐всё что угодно лучше чем celery
AN
почему?))
СХ
Artem Nazarenko
почему?))
потому что постоянно с ним проблемы, на каких проектах его не видел, постоянно мозг выносит
СХ
ещё и кафку не умеет
AN
как не умеет?
СХ
Artem Nazarenko
как не умеет?
не умеет celery в кафку
СХ
хранить свои данные он может либо в реббите либо в редисе
AN
А-а-а
СХ
кафка уже 2 года висит как возможно добавим
AN
А кроме кафки с точки зрения фич чем он по сравнению с kubernetesExecutor плох например?))
AN
воркеры ведь все равно будут по нодам кластера разбросаны
АЖ
о_О
СХ
Artem Nazarenko
А кроме кафки с точки зрения фич чем он по сравнению с kubernetesExecutor плох например?))
тем что дрючит джобы зачастую понапрасну, виснет, сначала убивая сам реббит а потом радосно в контейнере уходит в аут
АЖ
при чем тут вобще кафка?
АЖ
кафку в airflow вообщее не надо тащить