Size: a a a

2021 March 28

VS

Vladislav 👻 Shishkov... in Airflow
Yury
Атлас поднял в контейнере, в настройках включил. Тесторый даг отрабатывает без ошибок. В x-com данные есть. Но в атласе не появляются.
Точно не вспомню, но что-то вроде в самом даге надо было прописывать, по гуглите, ответ там точно должен быть
источник

Y

Yury in Airflow
Vladislav 👻 Shishkov
Точно не вспомню, но что-то вроде в самом даге надо было прописывать, по гуглите, ответ там точно должен быть
да я скачал тестовый даг с оф сайта. он в xcom пишет но до атласа не докидывает.
источник

Y

Yury in Airflow
Вы не помните может в Атласе надо было, что-то прописывать что бы он мог принимать входящий поток?
источник

Y

Yury in Airflow
источник

VS

Vladislav 👻 Shishkov... in Airflow
Не помню
источник

Y

Yury in Airflow
Жаль
источник
2021 March 29

IK

Ivan Kizimenko in Airflow
если airflow на 1 машине и пока не планируется расширение и всего хватает, стоит ли использовать Celery Executor ?
источник

ME

Max Efremov in Airflow
работает - не трогай)
источник

ME

Max Efremov in Airflow
золотое правило)
источник

А

Адиль in Airflow
Ivan Kizimenko
если airflow на 1 машине и пока не планируется расширение и всего хватает, стоит ли использовать Celery Executor ?
Не стоит) LocalExecutor наше всё
источник

А

Андрей in Airflow
Ivan Kizimenko
если airflow на 1 машине и пока не планируется расширение и всего хватает, стоит ли использовать Celery Executor ?
у меня с увеличением кол-ва дагов, причем небольшим отвратительно работал LocalExecutor. Таски фейлились постоянно рандомно. Поставил сборку от puckel, и горя не знаю уже второй год
источник

А

Адиль in Airflow
Андрей
у меня с увеличением кол-ва дагов, причем небольшим отвратительно работал LocalExecutor. Таски фейлились постоянно рандомно. Поставил сборку от puckel, и горя не знаю уже второй год
При каком количестве дагов это было?
источник

IK

Ivan Kizimenko in Airflow
ну у меня пока на airflow2 нет проблем с этим, но замечаю что есть какой то функицонал который недоступен для Local и подумал, что может быть есть что-то стоящее ради чего стоит накатить Celery
источник

А

Андрей in Airflow
Десяток наверное. Точно не помню. Двух десятков точно не было
источник

А

Адиль in Airflow
Хм, у меня их штук 25, пока всё ок. Но у меня нет прям долгих тасков. А на какой машине крутилось? Не было проблем с оперативой ?
источник

А

Андрей in Airflow
Адиль
Хм, у меня их штук 25, пока всё ок. Но у меня нет прям долгих тасков. А на какой машине крутилось? Не было проблем с оперативой ?
норм машина. на ней же сейчас аирфлоу в докере и дагов с тасками гораздо больше
источник

А

Адиль in Airflow
А у puckel какой экзекутор?
источник

А

Андрей in Airflow
Адиль
А у puckel какой экзекутор?
Celery
источник

А

Андрей in Airflow
Адиль
А у puckel какой экзекутор?
и редис
источник

А

Адиль in Airflow
Я оч много работал с Celery вне Airflow, и это далеко не простой инструмент с кучей нюансов в зависимости от брокера ещё
источник