DN
Size: a a a
2021 February 01
DN
вот нашел
DN
а timeout чет нету
DN
спасибо
2021 February 02
AP
Подскажите, устанавливаю airflow
при простом dag получаю ошибку
pip3 install apache-airflow[зависимости]==1.10.14 --constraint ...
при простом dag получаю ошибку
from airflow.operators.bash import BashOperator
ModuleNotFoundError: No module named 'airflow.operators.bash'
OI
Anton Patsev
Подскажите, устанавливаю airflow
при простом dag получаю ошибку
pip3 install apache-airflow[зависимости]==1.10.14 --constraint ...
при простом dag получаю ошибку
from airflow.operators.bash import BashOperator
ModuleNotFoundError: No module named 'airflow.operators.bash'
from airflow.operators.bash_operator
AP
То есть на github ошибка airflow airflow example_dags tutorial py на 33 строке?
GB
Anton Patsev
То есть на github ошибка airflow airflow example_dags tutorial py на 33 строке?
Да, примеры некоторые написаны неправильно
AP
Там коммит [AIRFLOW-6610] Move software classes to providers package (#7231)
AP
Меняет все операторы.
GB
Anton Patsev
То есть на github ошибка airflow airflow example_dags tutorial py на 33 строке?
Сталкивался с этим, когда впервые только разворачивал, хотел дать коллегам почитать примеры. Пришлось импорты переписывать
AP
Не мойму это примеры только для airflow 2 ?
GB
Anton Patsev
Не мойму это примеры только для airflow 2 ?
Этого не подскажу, давно на них не смотрел. Посмотри по коммитам до релиза второй версии. Импорты, скорее всего, придётся править всё равно
AP
Подскажите, пожалуйста, еще
airflow dags list показывает новые dag из директории dags, но в web интерфейсе не видны новые dag.
Так и должно быть?
airflow dags list показывает новые dag из директории dags, но в web интерфейсе не видны новые dag.
Так и должно быть?
ФЧ
Anton Patsev
Подскажите, пожалуйста, еще
airflow dags list показывает новые dag из директории dags, но в web интерфейсе не видны новые dag.
Так и должно быть?
airflow dags list показывает новые dag из директории dags, но в web интерфейсе не видны новые dag.
Так и должно быть?
Нет.
DY
Мы как раз такие приседания делали. Пока 2 месяца работает такая схема, 100+ дагов, ни единого разрыва))
Только схема без s3fs
Сделали sidecar, положили рядом airflow инстансами, раз в N секунд сиягивает даги с S3.
На s3 кладём при деплое.
Параметр fetch interval (или как он там) в airflow желательно поставить Nx2
Только схема без s3fs
Сделали sidecar, положили рядом airflow инстансами, раз в N секунд сиягивает даги с S3.
На s3 кладём при деплое.
Параметр fetch interval (или как он там) в airflow желательно поставить Nx2
А почему такая схема лучше, чем напрямую из git-a DAG-и тянуть?
DN
Мы как раз такие приседания делали. Пока 2 месяца работает такая схема, 100+ дагов, ни единого разрыва))
Только схема без s3fs
Сделали sidecar, положили рядом airflow инстансами, раз в N секунд сиягивает даги с S3.
На s3 кладём при деплое.
Параметр fetch interval (или как он там) в airflow желательно поставить Nx2
Только схема без s3fs
Сделали sidecar, положили рядом airflow инстансами, раз в N секунд сиягивает даги с S3.
На s3 кладём при деплое.
Параметр fetch interval (или как он там) в airflow желательно поставить Nx2
А правда к чему эти приседания?
DN
Тоже интересно
P
Dmitry Yakimets
А почему такая схема лучше, чем напрямую из git-a DAG-и тянуть?
Гибкая схема очень.
1. сложность кода этих доп. компонентов на уровне джуна/мидла
2. из 1 следует, что вы имеете полный контроль над этими компонентами
3. если тянуть даги напрямую из гита встает вопрос: как организовать деплой из любой ветки. Деплой из мастера как правило только в розовый мечтах тимлидов из кровавого энтерпрайза, в реальности, в небольших командах регулярно есть необходимость деплоя из своей собственной ветки.
4. возможность построения гибкой схемы хранения на S3. Например, мы при деплое дага указываем его версию, на S3 улетает даг в директорию вида [dag-id]-[version], плюс на этом же уровне лежит файлик current-version с последней версией дага отправленного на деплой.
как-то так... совсем не претендуем на идеальность такой схемы, но она стабильно работает))
1. сложность кода этих доп. компонентов на уровне джуна/мидла
2. из 1 следует, что вы имеете полный контроль над этими компонентами
3. если тянуть даги напрямую из гита встает вопрос: как организовать деплой из любой ветки. Деплой из мастера как правило только в розовый мечтах тимлидов из кровавого энтерпрайза, в реальности, в небольших командах регулярно есть необходимость деплоя из своей собственной ветки.
4. возможность построения гибкой схемы хранения на S3. Например, мы при деплое дага указываем его версию, на S3 улетает даг в директорию вида [dag-id]-[version], плюс на этом же уровне лежит файлик current-version с последней версией дага отправленного на деплой.
как-то так... совсем не претендуем на идеальность такой схемы, но она стабильно работает))