M
Size: a a a
2020 July 27
2020 July 28
ДН
подскажите, как правильно импортировать свои пакеты?
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
ДН
подскажите, как правильно импортировать свои пакеты?
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
причем на своей тачке в докере поднимаю все ок
раскатываю в кубике - такая ошибка
раскатываю в кубике - такая ошибка
DS
Всем привет, а кто-нибудь на 1.10.11 уже переехал? Стабильно работает?
ME
подскажите, как правильно импортировать свои пакеты?
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
А если без дагс?
ME
Мне кажется, что корень у него - папочка дагов
ДН
А если без дагс?
Так и сделал по-итогу
просто самописные кишки за dag_folder вынес - заработало
просто самописные кишки за dag_folder вынес - заработало
ИХ
даги сути должны лежать в папке dags. но с докером вообще хз че там может быть
ME
Всем привет, а кто-нибудь на 1.10.11 уже переехал? Стабильно работает?
надо посмотреть, мб починили что-то важное
ME
только вчера в доках увидел новую версию)
ME
Я только не понимаю, зачем они добавляю новых фич в микро версиях... почему не 1.11.0, а 1.10.11
ME
А у кого-то Airflow подключён к EMR, чтобы спарк оператор работал нормально?
ME
У нас сейчас сделано через питон оператор и Apache Livy, но это не очень нативно(
M
подскажите, как правильно импортировать свои пакеты?
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
разложил пока даги в такую структуру:
|—dags
| |—pr_1
| |—__init__.py
| |—dag1.py
| |—my_module.py
|—__init__.py
пишу в dag1 - from dags.pr_1.my_module import MyClass
а airflow мне - "No module named 'dags.pr_1'"
пока обычный пукелевский контейнер, добавил PYTHONPATH только в Dockerfile
ENV PYTHONPATH=${AIRFLOW_HOME}:${PYTHONPATH}
1) https://docs.python.org/3/tutorial/modules.html
2) Workdir в контексте выполнения дагов — папка dags. То есть
2) Workdir в контексте выполнения дагов — папка dags. То есть
import pr_1.my_module должно работать. Но в целом я бы разделял код дагов и код библиотеки с хелперами, то есть даги пусть лежат файлами в dags, а хелперы в dags/my_package/__init__.py и тдА
Привет!
Понимаю, что пишу не в тот чатик, но вдруг кто-то сталкивался с подобным.
Я хочу быстро перекладывать часть таблички из хайва в вертику, но etl инструменты делают это достаточно медленно в силу пропускной способности сети.
Хотела сделать external table, чтобы просто обращаться к hdfs, но... Оно сообщает мне, что я пишу не все столбцы, что есть в файле. Проблема в том, что в таблице порядка 100 столбцов, мне нужно только 40 штук, не хочу я вручную это все писать.
Тем более я думала, что ORC позволяет так делать...
Какие еще могут быть варианты для попробовать?
Понимаю, что пишу не в тот чатик, но вдруг кто-то сталкивался с подобным.
Я хочу быстро перекладывать часть таблички из хайва в вертику, но etl инструменты делают это достаточно медленно в силу пропускной способности сети.
Хотела сделать external table, чтобы просто обращаться к hdfs, но... Оно сообщает мне, что я пишу не все столбцы, что есть в файле. Проблема в том, что в таблице порядка 100 столбцов, мне нужно только 40 штук, не хочу я вручную это все писать.
Тем более я думала, что ORC позволяет так делать...
Какие еще могут быть варианты для попробовать?