В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

898 membersпожаловаться на группу
2020 August 14

N

Nikita in Airflow
Дмитрий Негреев
А как из одного дага дождаться другого, если manual был?
Например даги стартую раз в сутки, а надо еще периодически в течении дня руками
Вы можете прокинуть в execution_date_fn функцию, которая сходит в базу эйрфлоу, достанет оттуда последний дагран в нужном вам интервале и будет смотреть на его статус, например
источник
12:06пожаловаться#1

А

Андрей in Airflow
Всем добрый день. Новый даг начинает отрабатывать с даты указанной в start_date. Но почему-то только 1 даг запускается в одно время. Как увеличить из количество?
источник
14:11пожаловаться#2

ME

Max Efremov in Airflow
Андрей
Всем добрый день. Новый даг начинает отрабатывать с даты указанной в start_date. Но почему-то только 1 даг запускается в одно время. Как увеличить из количество?
Поменять бекенд, если там сиквкнтал екзекьютор
источник
17:36пожаловаться#3

ME

Max Efremov in Airflow
настроить селери или кубер
источник
17:36пожаловаться#4

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
20:15пожаловаться#5
2020 August 15

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
00:46пожаловаться#6

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
09:09пожаловаться#7

S

Sabir in Airflow
Anyone knows Airflow consumes How much memory?
источник
16:48пожаловаться#8

АЖ

Андрей Жуков... in Airflow
sticker.webp
(57.48 Кб)
источник
20:18пожаловаться#9

СХ

Старый Хрыч... in Airflow
Андрей Жуков
sticker.webp
(57.48 Кб)
😂🤣
источник
20:18пожаловаться#10

СХ

Старый Хрыч... in Airflow
😂🤣у меня просто 15 вопросов есть, чтобы знакомой продакту разъяснить для начальства, я кое что почитал но не до конца понял чтобы документ подготовить
источник
20:19пожаловаться#11

ST

Sergey Trapeznikov in Airflow
2_5411498221312671851.mp4
(919.95 Кб)
источник
20:19пожаловаться#12

С

Сюткин in Airflow
Неожиданно
источник
20:20пожаловаться#13

СХ

Старый Хрыч... in Airflow
🤣в общем будет кластер  openshift  с gpu, 3 operatora, spark airflow и nvidia gpu
источник
20:20пожаловаться#14

АЖ

Андрей Жуков... in Airflow
Старый Хрыч
🤣в общем будет кластер  openshift  с gpu, 3 operatora, spark airflow и nvidia gpu
airflow operator вроде в активной разработке и не рекомендуется в проде
источник
20:21пожаловаться#15

СХ

Старый Хрыч... in Airflow
в pg на отдельном сервере будут данные, примерно 10 тб за год, так же будет 3 сервера с ignite cache для spark, в спарке будут математические джобы сплошной матан, но  нужно выдавать задачи и ресурсы под задачу, умеет ли airflow оператор назначать джобу спарку выделять в шифте под неё ресурсы и контролировать её работу?
источник
20:22пожаловаться#16

АЖ

Андрей Жуков... in Airflow
плюс GKE-операторы в OpenShift - это прям тот еще БДСМ
источник
20:23пожаловаться#17

ST

Sergey Trapeznikov in Airflow
Старый Хрыч
в pg на отдельном сервере будут данные, примерно 10 тб за год, так же будет 3 сервера с ignite cache для spark, в спарке будут математические джобы сплошной матан, но  нужно выдавать задачи и ресурсы под задачу, умеет ли airflow оператор назначать джобу спарку выделять в шифте под неё ресурсы и контролировать её работу?
если в доке нет значит не умеет
источник
20:23пожаловаться#18

АЖ

Андрей Жуков... in Airflow
spark operator (не путать с кубовым) умеет вполне успешно сабмитить в кубы
источник
20:24пожаловаться#19

СХ

Старый Хрыч... in Airflow
Sergey Trapeznikov
если в доке нет значит не умеет
там по сути  надо ходить airflow в пг, брать джобу, выделять ресурсы и  после оончания отсылать по odbs рельтат клиенту в oracle/mssql
источник
20:25пожаловаться#20