R
Привет! А кто как разруливает ситуации когда requirements.txt при разработке отличаются от оных при запуске операторов? Держать н отдельных файликов с требованиями?
Size: a a a
2020 October 28
VS
логично
GB
Всем привет!
Собрал плагин с кастомным сенсором, упаковал его в пакет (хочу все апдейты разруливать простой установкой из requirements с приватного PyPi).
Делаю всё «по учебнику»: https://airflow.apache.org/docs/stable/plugins.html#plugins-as-python-packages
Пытаюсь поставить плагин в локально запущенный airflow, получаю Failed to import plugin и ModuleNotFoundError: No module named foo
Собрал плагин с кастомным сенсором, упаковал его в пакет (хочу все апдейты разруливать простой установкой из requirements с приватного PyPi).
Делаю всё «по учебнику»: https://airflow.apache.org/docs/stable/plugins.html#plugins-as-python-packages
Пытаюсь поставить плагин в локально запущенный airflow, получаю Failed to import plugin и ModuleNotFoundError: No module named foo
T
Привет! А кто как разруливает ситуации когда requirements.txt при разработке отличаются от оных при запуске операторов? Держать н отдельных файликов с требованиями?
Да. Н обычно выше 2 не поднимается :)
AC
Ребзя, подскажите - как заставить айрфлоу запустить все даг раны, если стояла start date вчера, а теперь start date год назад. Собственно хочется чтобы он посчитал теперь за весь год
M
Aza Cheh
Ребзя, подскажите - как заставить айрфлоу запустить все даг раны, если стояла start date вчера, а теперь start date год назад. Собственно хочется чтобы он посчитал теперь за весь год
AC
Крутяг, спасибо!
2020 October 29
ay
привет. если нужно собрать даг из ~10 скриптов на питоне (в каждом забор данных по апи и запись в таблицу),
то как это лучше организовать?
вижу вариант с плагином с кастомным оператором на каждый скрипт
может есть какой-то более простой способ?
то как это лучше организовать?
вижу вариант с плагином с кастомным оператором на каждый скрипт
может есть какой-то более простой способ?
DM
привет. если нужно собрать даг из ~10 скриптов на питоне (в каждом забор данных по апи и запись в таблицу),
то как это лучше организовать?
вижу вариант с плагином с кастомным оператором на каждый скрипт
может есть какой-то более простой способ?
то как это лучше организовать?
вижу вариант с плагином с кастомным оператором на каждый скрипт
может есть какой-то более простой способ?
10 питон операторов ?
ay
10 питон операторов ?
если каждый скрипт по 100-200 строк, то это будет большой даг файл. а в best practices рекомендуют использовать даг только как конфиг для описания запуска задач.
ay
если каждый скрипт по 100-200 строк, то это будет большой даг файл. а в best practices рекомендуют использовать даг только как конфиг для описания запуска задач.
ну и предупреждения о том что не нужно добавлять лишнего кода кроме вызова операторов, чтобы не нагружать планировщик
АЖ
если каждый скрипт по 100-200 строк, то это будет большой даг файл. а в best practices рекомендуют использовать даг только как конфиг для описания запуска задач.
а импорты придумали трусы?
ME
Я всё вынес в другие файлики, в даге только вызов конструкторов операторов)
АЖ
ребяты, подскажите как кто деплоит даги в аирфлуо что в кубирнетесе?
мы с кубами страдаем из-за шедулера :)
ME
Тип функции, которая по параметрам отдаёт настроенный оператор
ME
Привет. Я только начал изучать AirFlow, пролистал туториал.
Подскажите пожалуйста, а как передавать данные между операторами? И как запускать dag с параметрами?
Подскажите пожалуйста, а как передавать данные между операторами? И как запускать dag с параметрами?
Xcom