В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1228 membersпожаловаться на группу
2021 April 09

СГ

Станислав Горчаков... in Airflow
вот как привер чисто
https://www.astronomer.io/guides/dynamically-generating-dags

Но лучше использовать како-нибудь конфигурационный файл типа json или yaml, из которого можно генерить даг
www.astronomer.io
Dynamically Generating DAGs in Airflow | Apache Airflow Guides
Using a base DAG template to create multiple DAGs.
источник
14:16пожаловаться#1

ФЧ

Филипп Чистяков... in Airflow
Вот после этого ответа я выпал.
источник
14:30пожаловаться#2

MZ

Maxim Zadonskiy in Airflow
Всем привет, чтобы сделать полноценный ETL для крупной компании, какие инструменты желательно освоить и использовать?
источник
14:46пожаловаться#3

L

Les in Airflow
Python + Airflow
источник
14:47пожаловаться#4

MZ

Maxim Zadonskiy in Airflow
Какие либы пайтона?
источник
14:47пожаловаться#5

L

Les in Airflow
зависит от ваших технологий
источник
14:48пожаловаться#6

L

Les in Airflow
например если вы используете Kafka - то kafka-python
если postgres - то psycopg2-binary или asyncpg
если берете данные из API  - то requests или aiohttp
если NATS - то nats-python
источник
14:49пожаловаться#7

A

Anatoly in Airflow
image_2021-04-09_14-54-30.png
(30.49 Кб)
Всем привет начинаю изучать airflow.
устанавливал его через докер с официального сайта

Такой вопрос как посмотреть какие библиотеки питон установлены?
и как доставить в него нужные?

а то не могу импортнуть библиотеку
источник
14:54пожаловаться#8

A

Alex in Airflow
pip freeze
источник
14:58пожаловаться#9

A

Alex in Airflow
доставить модули - через Dockerfile
источник
14:58пожаловаться#10

A

Anatoly in Airflow
да вот как раз в установленных библиотеках его вижу
источник
15:10пожаловаться#11

MZ

Maxim Zadonskiy in Airflow
Благодарю
источник
15:23пожаловаться#12

C

Combot in Airflow
Nemuritori добро пожаловать в русскоязычное комьюнити airflow.
источник
17:57пожаловаться#13

Y

Yesset in Airflow
Добрый день, для чего airflow breeze. В моем понимании- это штука чтобы создавать докер образы зависимо от надобностей(python библиотеки и системные программы). Или это чисто для контрибуторов airflow- для облегчения разработки самой airflow?
источник
19:40пожаловаться#14

VS

Vladislav 👻 Shishkov... in Airflow
Вроде второе
источник
19:42пожаловаться#15

GB

Georgy Borodin in Airflow
В основном для контрибьюторов, но побочным продуктом может быть сборка своего докер-образа. Просто в этом нет смысла, достаточно расширять/кастомизировать оф. образы
источник
19:43пожаловаться#16

Y

Yesset in Airflow
Спасибо
источник
19:44пожаловаться#17
2021 April 11

P

Pavel in Airflow
Если это был я, то не совсем так.
Монтирование через s3fs работает, но показывает крайне низкую скорость. Хотя... возможно еще по какой-то причине отказались от него. Очень зашло - через sidecar контейнеры даги монтировать
источник
09:49пожаловаться#18

AP

A Paclonsky in Airflow
Всем привет!
источник
13:23пожаловаться#19

AP

A Paclonsky in Airflow
Ребят подскажите, а можно ли как-то в рамках одного Dag реализовать подключение к двум разным базам MySql, доступ к которым возможен с разных проксей?
источник
13:24пожаловаться#20