В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

977 membersпожаловаться на группу
2020 October 02

DS

Dmitry Samoylov in Airflow
Что влияет на ограничение кол-во выполняемых тасков в DAG'е. Например, такая ситуация. Есть даг - 700 тасок. В каждой таске - очень долгий запрос на 30+ минут. Даг вынесен в отдельный pool, а также повешена настройка concurrency=3. Но в итоге в базе вижу 7 созданных конннектов от каждой таски и в airflow 7 запущенных тасок...
источник
12:12пожаловаться#1

DM

Dan M. in Airflow
я где-то читал, что он не успевает вычитать весь файл, возможно, опция в конфиге с сериализацией дагов может помочь
источник
12:14пожаловаться#2

DS

Dmitry Samoylov in Airflow
Dan M.
я где-то читал, что он не успевает вычитать весь файл, возможно, опция в конфиге с сериализацией дагов может помочь
спасибо, попробую покопать в этом направлении
источник
12:19пожаловаться#3

IL

Ilya Lozhkin in Airflow
Всем привет, может кто то знает фреймворк для работы с моделями на питоне, но с возможностью визуального накидывания задач?

Клиент зашел, выбрал какие таски ему нужны и все поехало в реальном времени крутиться
источник
15:58пожаловаться#4

IL

Ilya Lozhkin in Airflow
типа такого, только не для airflow
источник
15:59пожаловаться#5

ME

Max Efremov in Airflow
на стримсеты похоже)
источник
16:01пожаловаться#6

NA

Nikita Anshakov in Airflow
Ilya Lozhkin
типа такого, только не для airflow
А как эта штука называется ?
источник
16:02пожаловаться#7

IL

Ilya Lozhkin in Airflow
Nikita Anshakov
А как эта штука называется ?
https://github.com/mayansalama/windmill
GitHub
mayansalama/windmill
Drag N Drop WepApp to Build and Manage Airflow DAGs  - mayansalama/windmill
источник
16:03пожаловаться#8

IL

Ilya Lozhkin in Airflow
Фронт генерит json, потом по нему идет кодген в даги airflow
источник
16:04пожаловаться#9

AA

Anton Alekseev in Airflow
В azure такое видел - https://habr.com/ru/company/microsoft/blog/275475/
Хабр
Azure Machine Learning: разработка сервисов машинного обучения и их использование в мобильном приложении
Выражаем большое спасибо за подготовку статьи Евгению Григоренко, Microsoft Student Partner, (@evgri243) за помощь в написании данной статьи. Остальные наши стат...
источник
16:08пожаловаться#10

IL

Ilya Lozhkin in Airflow
Anton Alekseev
В azure такое видел - https://habr.com/ru/company/microsoft/blog/275475/
Хабр
Azure Machine Learning: разработка сервисов машинного обучения и их использование в мобильном приложении
Выражаем большое спасибо за подготовку статьи Евгению Григоренко, Microsoft Student Partner, (@evgri243) за помощь в написании данной статьи. Остальные наши стат...
Похоже на то, только надо opensource и что бы на своем железе хостить
источник
16:12пожаловаться#11

IL

Ilya Lozhkin in Airflow
https://github.com/selinon/selinon
https://github.com/AustralianSynchrotron/Lightflow

есть вот 2 движка, но фронт нужно делать 🙁
GitHub
selinon/selinon
An advanced distributed task flow management on top of Celery  - selinon/selinon
источник
16:14пожаловаться#12

А

Анатоли in Airflow
подскажите в конфиге airflow который копирую в docker контейнер
https://medium.com/@xnuinside/quick-guide-how-to-run-apache-airflow-cluster-in-docker-compose-615eb8abd67a
подключаю вот так через строку
sql_alchemy_conn = postgresql+psycopg2://$your_db_user:$your_db_password@$your_postgres_db_host:$postgres_port/$db_name

так вот ворос  your_postgre   это имя контейнера docker?  какое имя хоста или имя сервиса?
services:
 postgres
Medium
Quick guide: How to run Apache Airflow with docker-compose
This article expects that you already know that is Apache Airflow, for what it needed and you just want easy way how to use and develop…
источник
16:53пожаловаться#13

GB

Georgy Borodin in Airflow
Анатоли
подскажите в конфиге airflow который копирую в docker контейнер
https://medium.com/@xnuinside/quick-guide-how-to-run-apache-airflow-cluster-in-docker-compose-615eb8abd67a
подключаю вот так через строку
sql_alchemy_conn = postgresql+psycopg2://$your_db_user:$your_db_password@$your_postgres_db_host:$postgres_port/$db_name

так вот ворос  your_postgre   это имя контейнера docker?  какое имя хоста или имя сервиса?
services:
 postgres
Medium
Quick guide: How to run Apache Airflow with docker-compose
This article expects that you already know that is Apache Airflow, for what it needed and you just want easy way how to use and develop…
your_db_user – логин от постгреса
your_db_password – пароль
your_postgres_db_host – где хостится постгрес (ip, домен, название сервиса в docker-compose)
postgres_port – порт постгреса
db_name – бд в постгрес для airflow
источник
16:57пожаловаться#14

А

Анатоли in Airflow
делаю один в один по статье
при поднятии получаю
dockairflow_scheduler_1 exited with code 1
dockairflow_webserver_1 exited with code 1
с  ошибками python
поменял только имя контейнера так как такой уже используется
источник
17:06пожаловаться#15

GB

Georgy Borodin in Airflow
Анатоли
делаю один в один по статье
при поднятии получаю
dockairflow_scheduler_1 exited with code 1
dockairflow_webserver_1 exited with code 1
с  ошибками python
поменял только имя контейнера так как такой уже используется
Сванговать сложно, в чём дело, в особенности без текста ошибок)
источник
17:08пожаловаться#16

А

Анатоли in Airflow
у меня строка COPY ./airflow.cfg /usr/local/airflow/airflow.cfg не отрабатывает
источник
17:08пожаловаться#17

А

Анатоли in Airflow
захожу в сам контейнер а там docker exec -it postgres1 bash
а там файла airflow.cfg нет вроде по этому пути /usr/local
источник
17:10пожаловаться#18

GB

Georgy Borodin in Airflow
Анатоли
у меня строка COPY ./airflow.cfg /usr/local/airflow/airflow.cfg не отрабатывает
Если бы оне не срабатывала, контейнеры бы не поднимались
источник
17:10пожаловаться#19

А

Анатоли in Airflow
sqlalchemy.exc.OperationalError: (sqlite3.OperationalError) no such table: connection
источник
17:13пожаловаться#20