В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

959 membersпожаловаться на группу
2020 September 23

M

Mikhail in Airflow
Vladimir 💉 💊 Voytenko
вот у меня собственно сейчас проблема в том, что почти всё, что я нахожу из инфы по нему, это описание задач с которыми крон/селери справится и без аирфлоу.  а про остальное инфы как-то не очень много
ну если для ваших задач справится, используйте cron/celery, вполне возможно вам airflow и не нужен
источник
18:15пожаловаться#1

V💊

Vladimir 💉 💊 Voytenk... in Airflow
Mikhail
ну если для ваших задач справится, используйте cron/celery, вполне возможно вам airflow и не нужен
ну мне он скорее всего действительно не нужен, просто было интересно для чего его всё же юзают)
источник
18:17пожаловаться#2

GB

Georgy Borodin in Airflow
Привет всем!
Подскажите, как можно регулировать количество тасков, выполняемых на воркере в Celery?
Есть "жырные" таски, их хочется отправлять на воркеров так, чтобы один воркер занимался только одним таким таском. А вот мелкие хочется запускать параллельно.
Вижу worker_concurrency в конфиге, но не очень понимаю, как можно его изменить применительно к таску (ну или как вариант, к очереди)
источник
18:20пожаловаться#3

ДН

Дмитрий Негреев... in Airflow
Georgy Borodin
Привет всем!
Подскажите, как можно регулировать количество тасков, выполняемых на воркере в Celery?
Есть "жырные" таски, их хочется отправлять на воркеров так, чтобы один воркер занимался только одним таким таском. А вот мелкие хочется запускать параллельно.
Вижу worker_concurrency в конфиге, но не очень понимаю, как можно его изменить применительно к таску (ну или как вариант, к очереди)
У тасков queue есть.
А сами очереди где-то настраиваются, где им говорится на каких воркерах разрешается их запускать.
источник
18:28пожаловаться#4

ДН

Дмитрий Негреев... in Airflow
https://airflow.apache.org/docs/stable/concepts.html#queues
источник
18:30пожаловаться#5

GB

Georgy Borodin in Airflow
Дмитрий Негреев
У тасков queue есть.
А сами очереди где-то настраиваются, где им говорится на каких воркерах разрешается их запускать.
Спасибо!
источник
18:31пожаловаться#6

I

Igor in Airflow
Vladimir 💉 💊 Voytenko
вот у меня собственно сейчас проблема в том, что почти всё, что я нахожу из инфы по нему, это описание задач с которыми крон/селери справится и без аирфлоу.  а про остальное инфы как-то не очень много
В хроне нельзя перезапустить за каждый получасовой интервал который позавчера не получился просто потому что тебе вообще говоря надо придумать чтобы понять как это учитывать
источник
19:24пожаловаться#7

I

Igor in Airflow
А тут можешь
источник
19:24пожаловаться#8
2020 September 24

YL

Yevhenii Lukashov in Airflow
Немного позний вопрос, кто то юзает kubernetespodoperator что бы создавать кроны с имеющимися имеджами в реджистри? Как поставить, что бы он постоянно брал последний мастер имедж или с определенным тагом?
источник
01:29пожаловаться#9

PA

Panchenko Andrey in Airflow
Yevhenii Lukashov
Немного позний вопрос, кто то юзает kubernetespodoperator что бы создавать кроны с имеющимися имеджами в реджистри? Как поставить, что бы он постоянно брал последний мастер имедж или с определенным тагом?
Тоже интересно, потому что всё время менял руками. По тэгу лэйтэст не работало
источник
07:14пожаловаться#10

А

Анатоли in Airflow
запустил airflow  docker pull
а что у меня пути странные какие-то
/var/lib/docker/overlay2/1252aa0ab0ce2fc1fb037a249a0c05b1335b092ba064cc6dec30bec117f5d485/merged/usr/local/airflow/dags
это нормально?
источник
11:34пожаловаться#11

VT

Vasiliy Toporov in Airflow
Здравствуйте. Подскажите, как выключить аутентификацию в experimental API. Я использую официальный контейнер  apache/airflow:1.10.12, меняю в airflow.cfg настройку auth_backend как это описано в документации https://airflow.apache.org/docs/stable/security.html?highlight=rbac#api-authentication , но эндпойнты всё равно отвечают Forbidden.
источник
11:40пожаловаться#12

ИХ

Ильяс Хакиев... in Airflow
Vasiliy Toporov
Здравствуйте. Подскажите, как выключить аутентификацию в experimental API. Я использую официальный контейнер  apache/airflow:1.10.12, меняю в airflow.cfg настройку auth_backend как это описано в документации https://airflow.apache.org/docs/stable/security.html?highlight=rbac#api-authentication , но эндпойнты всё равно отвечают Forbidden.
там надо пользователя создать специального создать. есть роль админа airflow, есть роль для подключения к api/
источник
12:17пожаловаться#13

ИХ

Ильяс Хакиев... in Airflow
в доке инфы не было ответ нашел на stack
источник
12:18пожаловаться#14

ДН

Дмитрий Негреев... in Airflow
У кого-то был опыт генерации дагов через globals, когда конфиги храняться в базе данных?
Насколько это плохо, и могут ли быть какие-то проблемы с этим?
источник
13:01пожаловаться#15

SG

Sergey Gavrilov in Airflow
Дмитрий Негреев
У кого-то был опыт генерации дагов через globals, когда конфиги храняться в базе данных?
Насколько это плохо, и могут ли быть какие-то проблемы с этим?
Генерил через globals, в целом медленнее обновляются и иногда выскакивают странные ошибки. Если сюда ещё добавить БД, не очень понятно, как ситуация изменится к лучшему
источник
13:04пожаловаться#16

ДН

Дмитрий Негреев... in Airflow
Sergey Gavrilov
Генерил через globals, в целом медленнее обновляются и иногда выскакивают странные ошибки. Если сюда ещё добавить БД, не очень понятно, как ситуация изменится к лучшему
По-итогу генерируете файлы питонячьи?
источник
13:05пожаловаться#17

A

Anatole in Airflow
Подскажмте как стратануть docker из airflow
источник
13:06пожаловаться#18

ДН

Дмитрий Негреев... in Airflow
Anatole
Подскажмте как стратануть docker из airflow
DockerOperator
источник
13:06пожаловаться#19

SG

Sergey Gavrilov in Airflow
Не, я в глобалс их просто добавлял, т.к. они лежали слишком глубоко для парсинга. Но приходилось и генерить, правда без globals, там вроде проблем вообще 0
источник
13:06пожаловаться#20