нет,все то же самое

Привет!

Кто сталкивался, что думает?

Про Airflow в Docker?

Какие +,- ?

а какая принципиальная разница в чём запускать airflow?

не вижу тут специфики

Хз, хочу понять пока на верхнем уровне

Очевидный гигантский плюс это что есть хорошие варианты на гитхабе которые удобно под себя адаптировать :) Которые и celery из коробки, и так и сяк. Очень удобно.

Минусы — есть хорошие варианты на гитхабе и если их под что-то специфичное под себя, то часто становится совсем неудобно и адаптировать задолбаешься. В итоге плюнешь и напишешь свои контейнеры со всеми вытекающими

Если более-менее уметь готовить докер, никаких супер-специальных проблем с airflow не возникает.

Накидайте несколько вариантов в виде ссылок?

https://github.com/puckel/docker-airflow
https://github.com/astronomerio-archive/docker-airflow

И как всегда, можно покопаться в хабе: https://hub.docker.com/search/?q=airflow

плюсы все те же что при использовании докера в любом другом проекте. окружение очень легко собрать, переделать, пересобрать, собрать локально и протестить, всегда есть чистая версия, в которой сложно испортить pip и все в таком духе.

те которые готовые на гитхабе это просто уже все настроенное, но это не коробка, т.е. все равно придется под себя доделывать и разбираться как там что устроено.

минус пожалуй только то что это еще одна технология в которой надо разбираться. мб еще какие-то ограничения есть из-за sudo

с sudo в докере проблем нет

всё зависит как вы соберете образ

Добрый день! Наверное, проблема с которой сталкивался каждый: scheduling и UTC. Мы хотим обновлять таблички дважды в день: в 11 утра и в 16 часов. Сами мы находимся в зоне UTC+02:00. В Даге schedule_interval='00 09,14 * * *'. Но пользователи жалуются, что дата все равно не обновляется по нужному времени. Что мы делаем не так?

а база в utc?

Это где то в airflow.cfg должно быть прописано?

Нет, это как у вас база метаданных airflow считает что у неё — now

Чтобы максимально обезопасить себя вообще рекомендуется везде, где можно сделать utc — сделать utc. Иначе могут быть тяжелособираемые нюансы.

А вообще что значит что время не то в плане ваших пользователей?

Ну просто может там есть какая-то часть которая выполняется в даге непредсказуемое время и это немного сбивает и тогда надо смотреть в сторону обрезания данных которые вы вытягиваете за период 🤷‍♀

Где это можно проверить? 😇