В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1099 membersпожаловаться на группу
2021 February 24

ЮЛ

Юрий Лифанов... in Airflow
Здравствуйте. Пытаюсь прикрутить аутентификацию в вебинтерфейсе airflow. В разделе [webserver] airflow.cfg устанавливаем authentification = True, собираем контейнер (запускаем айрфлоу в контейнере), после чего контейнер не живёт, постоянно рестартует. В чем может быть проблема?
источник
16:38пожаловаться#1

ME

Max Efremov in Airflow
А что в логах?
источник
16:41пожаловаться#2

SY

Stas Yudkin in Airflow
Юрий Лифанов
Здравствуйте. Пытаюсь прикрутить аутентификацию в вебинтерфейсе airflow. В разделе [webserver] airflow.cfg устанавливаем authentification = True, собираем контейнер (запускаем айрфлоу в контейнере), после чего контейнер не живёт, постоянно рестартует. В чем может быть проблема?
auth_backend указали?
источник
16:42пожаловаться#3

ЮЛ

Юрий Лифанов... in Airflow
Да
источник
16:50пожаловаться#4

ЮЛ

Юрий Лифанов... in Airflow
Password_auth
источник
16:51пожаловаться#5

А

Анастасия in Airflow
Привет!

Я хочу сделать универсальный sqlsensor для ожидания потоков oozie. То есть идея в том, чтобы другому разработчику нужно было просто импортнуть класс и в таске передать имя необходимого потока и, например, таймаут

В исходном коде SqlSensor есть template_ext, которое никак не используется. Подскажите, зачем оно нужно?
источник
17:00пожаловаться#6

VL

Vadim Lygin in Airflow
для jinja наверно
источник
17:05пожаловаться#7

ИК

Илья Китов in Airflow
Анастасия
Привет!

Я хочу сделать универсальный sqlsensor для ожидания потоков oozie. То есть идея в том, чтобы другому разработчику нужно было просто импортнуть класс и в таске передать имя необходимого потока и, например, таймаут

В исходном коде SqlSensor есть template_ext, которое никак не используется. Подскажите, зачем оно нужно?
ext - extension
источник
17:08пожаловаться#8

А

Анастасия in Airflow
Илья Китов
ext - extension
Это понятно. Просто оно нигде не используется - запрос не читается из файла
источник
17:08пожаловаться#9

ИК

Илья Китов in Airflow
Анастасия
Это понятно. Просто оно нигде не используется - запрос не читается из файла
Ну это по умолчанию наверное просто занесли по шамблону, можно же и из файла чтобы определял
источник
17:10пожаловаться#10

ВБ

Виталий Бикташев... in Airflow
в BaseOperator'е (родителе BaseSensorOperator'а) используются
источник
17:13пожаловаться#11

ВБ

Виталий Бикташев... in Airflow
Анастасия
Это понятно. Просто оно нигде не используется - запрос не читается из файла
это вот сюда
источник
17:13пожаловаться#12

WA

WAS AV in Airflow
WAS AV
Всем привет
Кто-то пробовал подружить airflow-clickhouse-plugin и airflow 2?
👋
источник
17:36пожаловаться#13

dp

dbdbdb pssp in Airflow
Всем привет, я новичек в AIRFLOW подскажите как правильно переносить данные с одного дага на другой ? Например я  работаю с пандас где очень много тысяч строк, и в разных дагах в разной последовательности я хочу делать разные вещи с ними, причем с результатом предидущего
источник
19:22пожаловаться#14

dp

dbdbdb pssp in Airflow
Идея постоянно записывать и читать из БД не привлекает
источник
19:22пожаловаться#15

VS

Vladislav 👻 Shishkov... in Airflow
у airflow нет пайплайна данных между тасками/дагами, для этого необходимо использовать сторонние инструменты/сервисы для хранения
источник
19:23пожаловаться#16

GB

Georgy Borodin in Airflow
dbdbdb pssp
Всем привет, я новичек в AIRFLOW подскажите как правильно переносить данные с одного дага на другой ? Например я  работаю с пандас где очень много тысяч строк, и в разных дагах в разной последовательности я хочу делать разные вещи с ними, причем с результатом предидущего
Airflow – не для потоковой обработки данных, между тасками должно быть промежуточное хранилище
источник
19:24пожаловаться#17

VS

Vladislav 👻 Shishkov... in Airflow
Georgy Borodin
Airflow – не для потоковой обработки данных, между тасками должно быть промежуточное хранилище
это не совсем потоковая обработка, любой etl инструмент работает так
источник
19:24пожаловаться#18

GB

Georgy Borodin in Airflow
Vladislav 👻 Shishkov
это не совсем потоковая обработка, любой etl инструмент работает так
Ну да, некорректно выразился, признаю)
источник
19:25пожаловаться#19

VS

Vladislav 👻 Shishkov... in Airflow
ну и в рамках одного таска никто не мешает это реализовать 😬
источник
19:25пожаловаться#20