GB
Ну это хорошо, если можно замаунитить. А если это k8s
Size: a a a
2020 December 22
GB
А собрать свой образ на основе офф образа и добавить туда зависимостей – вроде не тяжелая задача
AK
Ну это норм да. Если практически говорить - то сейчас у меня тестовый сварм кластер
AK
И маунтить Даги и плагины, что-то не оч хочется. Но видимо так придётся делать
GB
И маунтить Даги и плагины, что-то не оч хочется. Но видимо так придётся делать
Ну плагины штука такая – их может имеет смысл и в базовом имэдже держать, как и зависимости. А вот даги да, нужно сначала кому-то подсунуть на чтение.
Возможно, сериализация дагов позволяет не маунтить воркерам, но я не готов это подтвердить
Возможно, сериализация дагов позволяет не маунтить воркерам, но я не готов это подтвердить
AK
Не очень как-то удобно для разработки и эксплуатации )) спасибо за помощь
GB
Не очень как-то удобно для разработки и эксплуатации )) спасибо за помощь
"Где даги, там напряги" писал кто-то здесь)
ME
А зависимости ?)
Хм, сейчас туда только спарк пихаю)
AK
Хм, сейчас туда только спарк пихаю)
Питоновые
ME
Вообще да, всё равно я свой образ на базе официального делаю. Правда из питоновых там только бото3 и пайспарк)
IK
Я просто добавил к инит скрипту что проходил по файлу requirements, который также замаунтин как и даги
GB
Я просто добавил к инит скрипту что проходил по файлу requirements, который также замаунтин как и даги
Если будет много зависимостей, а воркеры не будут всегда работать, запуск их будет тормозить
2020 December 23
AM
Добрый день. Подскажите, пожалуйста способ забирать файлы в эирфлоу по расписанию из Gitlab
SZ
Добрый день. Подскажите, пожалуйста способ забирать файлы в эирфлоу по расписанию из Gitlab
Какие файлы? Dag?
AM
Нет, просто файлы, текстовые...
VR
привет. мб BashOperator?
VR
дешево и сердито
AM
Думал об этом, но я думаю, по умолчанию не стоит git
VR
ну, если в докере, то можно в Dockerfile прописать установку