СХ
кафку в airflow вообщее не надо тащить
мы про хранение информации у селери
Size: a a a
2020 August 21
СХ
а не про airflow
АЖ
вот именно
АЖ
морочишь человеку голову
СХ
морочишь человеку голову
чем? я просто знаю сколько проблем от селери
СХ
особенно если много джоб
AN
да про кафку я понял)) - этот пункт меня мало беспокоит
АЖ
чем? я просто знаю сколько проблем от селери
говорят, с башкой еще беды бывают у людей
АЖ
применительно к airflow что с celery не так?
СХ
применительно к airflow что с celery не так?
тем что он усложняет обслуживание
АЖ
тем что он усложняет обслуживание
каким образом?
СХ
каким образом?
😐требует на себя кучу времени
АЖ
не в теории, а в практике
СХ
не в теории, а в практике
😐в практике (висят 650 джоб в селери на выполнение по графику), периодически селери насилует redis\rabbit, не удаляет за собой данные из них после выполнения джобы, а потом девупс сидит и чистит всё и селери перезапуская(либо потом пишет уже плейбук чтобы делать это 1 кнопкой)
АЖ
😐в практике (висят 650 джоб в селери на выполнение по графику), периодически селери насилует redis\rabbit, не удаляет за собой данные из них после выполнения джобы, а потом девупс сидит и чистит всё и селери перезапуская(либо потом пишет уже плейбук чтобы делать это 1 кнопкой)
альтернатива?
AN
😐требует на себя кучу времени
Я так понимаю в k8s преимущество KubernetesExecutor в том, что поды для джоб будут динамически разбрасываться по кластеру, в то время как для Celery конфигурация воркеров будет статичной
AN
кроме того по идее не нужен Redis, так как можно просто замаунтить shared-данные на вольюм
СХ
Artem Nazarenko
Я так понимаю в k8s преимущество KubernetesExecutor в том, что поды для джоб будут динамически разбрасываться по кластеру, в то время как для Celery конфигурация воркеров будет статичной
а ещё тем, что не надо няньчится с селери
СХ
Artem Nazarenko
кроме того по идее не нужен Redis, так как можно просто замаунтить shared-данные на вольюм
и это тоже, ненавижу редис...
AN
коллеги, благодарю за подсказки)) план действий примерно понял