SK
LocalExcexutor
Было такое на local. на версии 1.n решил:
PythonOperator (execution_timeout=dt.timedelta)
Хотя я много чего перепробовал
Size: a a a
2021 April 27
SK
Это в каждый pythonoperator добавлять?
ФЧ
Ну да. При дотсижении времени которое там, оператор файлится, чтобы не висел
VS
Завязывали бы вы использовать локалэкзекьютер в проде 🙈
SK
Подскажите как лучше)
SK
Спасибо
Помогло
Помогло
ФЧ
Я тоже хз какой должен быть :D
GB
Селери, да ещё и с кубернетесом (но можно и без него)
SK
Есть где почитать как это всё правильно настроить?
VS
В документации
SK
А нет никакой статьи, где бы популярно объяснялось в каком случае какой вариант предпочтительней? Сами ушли с cron на этот чудесный инструмент и будем рады подсказкам
SK
Ну или возможно кто-то может подсказать направление для сбора граблей)
Посмотрел на celery - это ещё и менеджер очередей поднимать надо будет?
Посмотрел на celery - это ещё и менеджер очередей поднимать надо будет?
SZ
Для начала можете потестить подняв через docker-compose с celery. Я поднимал вот этот вариант и до сих пор использую. https://github.com/puckel/docker-airflow
GB
Вредные советы, надо юзать оф. образ)
SZ
Ну я ж написал "потестить")) Ну и ни кто не мешает немного подправить компоуз
GB
Ну там же вроде какой-то свой энтрипоинт у пукеля, под правки как раз придётся доку читать, вот и получился совсем не шорткат)
А так с 2.0.0 вроде у них официальный compose есть, грех не взять готовое
А так с 2.0.0 вроде у них официальный compose есть, грех не взять готовое
SZ
Ну кстати да, я просто до второй версии брал. Сейчас логично взять официальный