В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1076 membersпожаловаться на группу
2021 January 12

SG

Sergey Gavrilov in Airflow
Nikita Blagodarnyy
Всем привет. Подскажите, пожалуйста, может уже есть какой-то FAQ/common problems? Не нашел в описании чата. Я, наверное, не первый сталкиваюсь с тем, что очень много тасок повисает в статусе queued. Может уже известно как лечить?
Спасибо.
Со временем рассасывается? А вообще, идея, конечно, хорошая, но проблема в том, что вопросы, по которым можно FAQ составить, достаточно тупые. Сколько-нибудь сложные требуют общения.
источник
13:53пожаловаться#1

SG

Sergey Gavrilov in Airflow
...а с тупыми вопросами работать никому не охота)
источник
13:53пожаловаться#2

N

Nikita Blagodarnyy in Airflow
Sergey Zhuravlev
Может глупый вопрос, но вы Celery используете?
Да. Сейчас воткнули worker_autoscale побольше, кажется, стало рассасываться.
источник
14:01пожаловаться#3

Н

Николай in Airflow
Коллеги, простой вопрос, как использовать локальные package в dag
источник
14:44пожаловаться#4

Н

Николай in Airflow
?
источник
14:44пожаловаться#5

Н

Николай in Airflow
Или какие ключевые слова для поиска?
источник
14:45пожаловаться#6

マサ

マキシム サモイロフ... in Airflow
Так же как и обычные, наверное. А какая проблема возникает при использовании?
источник
14:45пожаловаться#7

Н

Николай in Airflow
Даг не может импортировать пакет
источник
14:46пожаловаться#8

マサ

マキシム サモイロフ... in Airflow
bad for him
кусок кода нерабочего бы не помешал. мы у себя используем, проблем не встречали
источник
14:47пожаловаться#9

マサ

マキシム サモイロフ... in Airflow
хотя бы структуру файлов и как импортировать пытаетесь
источник
14:47пожаловаться#10

Н

Николай in Airflow
Сек
источник
14:48пожаловаться#11

Н

Николай in Airflow
Может пути какие прописать нужно..
источник
14:48пожаловаться#12

Н

Николай in Airflow
Dag/pbi_dag/pkg1
источник
14:49пожаловаться#13

Н

Николай in Airflow
Тут пакет, а сами даги на уровень выше
источник
14:49пожаловаться#14

Н

Николай in Airflow
Когда это всё кучей лежало в dag/ нормально было всё
источник
14:50пожаловаться#15

マサ

マキシム サモイロフ... in Airflow
к примеру, у вас есть общая папка с дагами, и в ней внутри рядом лежат нужные пакеты. импортируете просто по полному пути начиная от корня папки с дагами
источник
14:51пожаловаться#16

マサ

マキシム サモイロフ... in Airflow
в разных папках не будет работать, увы
источник
14:51пожаловаться#17

マサ

マキシム サモイロフ... in Airflow
нужно чтобы весь ваш код лежал внутри папки с дагами, иначе никак
источник
14:52пожаловаться#18

Т

Тимур in Airflow
Николай
Когда это всё кучей лежало в dag/ нормально было всё
Можно воспользоваться хаком и прописать директорию в sys path.

import sys
sys.path.insert(0,os.path.abspath(os.path.dirname(__file__)))

from pbi_dag.pkg1 import foo
источник
15:15пожаловаться#19

J

Jester in Airflow
Привет всем. Только начал разбираться с докер образами и возник такой вопрос: А кто как поднимает контейнеры Airfllow, указывая чистый image: apache/airflow:version или используя python-slim и мультибилд?
источник
15:17пожаловаться#20