В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

977 membersпожаловаться на группу
2020 October 01

Ж

Жмака in Airflow
Max Efremov
Не нужно стараться всгё одной строчкой написать
start_pipeline >> [start_em, start_ec2]
   start_emr >> spark_app_ias >> ml_app_ias
   start_emr >> spark_app_dv >> ml_app_dv
   start_ec2 >> [ml_app_ias, ml_app_dv]
   [spark_app_ias, spar_app_dv] >> terminate_emr
   [ml_app_ias, ml_app_dv] >> terminate_ec2
   [terminate_emr, terminate_ec2] >> finish_pipeline >> notify_users_by_email
источник
12:49пожаловаться#1

ME

Max Efremov in Airflow
Жмака
Плюс надо сэкономить деньги на emr чтобы зря не бежал
А step functions тут не подойдут?
источник
12:49пожаловаться#2

Ж

Жмака in Airflow
Max Efremov
Не нужно стараться всгё одной строчкой написать
Так?
источник
12:49пожаловаться#3

Ж

Жмака in Airflow
Max Efremov
А step functions тут не подойдут?
Не. Отвергли
источник
12:50пожаловаться#4

ME

Max Efremov in Airflow
Жмака
Так?
Наверное) оно верный граф рисует?
источник
12:50пожаловаться#5

Ж

Жмака in Airflow
Я не могу запустить отдельно пока что потому что тут закрутили с кубернетесом всю эту кухню. Попробую на отдельно ec2 airflow
источник
12:52пожаловаться#6

Ж

Жмака in Airflow
Поэтому спросил у знатоков)
источник
12:52пожаловаться#7

ME

Max Efremov in Airflow
Сделай дамми операторы и посмотри, какой даг будет в итоге
источник
12:54пожаловаться#8

ME

Max Efremov in Airflow
Чисто для проверки, как оно
работает
источник
12:54пожаловаться#9

Ж

Жмака in Airflow
Да. Вот как раз пробую на докере с эйрфлоу. Спасибо!
источник
12:56пожаловаться#10

GB

Georgy Borodin in Airflow
Подскажите, пожалуйста: запустил airflow в ecs, логи таска недоступны, когда воркера убивает скалирование за ненадобностью. Если настроить сохранение логов в S3, их можно будет дёргать через веб-интерфейс?
источник
20:33пожаловаться#11

А

Андрей in Airflow
Georgy Borodin
Подскажите, пожалуйста: запустил airflow в ecs, логи таска недоступны, когда воркера убивает скалирование за ненадобностью. Если настроить сохранение логов в S3, их можно будет дёргать через веб-интерфейс?
В конфиге же есть настройка такая.
источник
20:44пожаловаться#12

GB

Georgy Borodin in Airflow
Андрей
В конфиге же есть настройка такая.
Это да, но они будут сдёргиваться через Web UI?
источник
20:45пожаловаться#13

А

Андрей in Airflow
А про веб это же к s3 вопрос
источник
20:45пожаловаться#14

GB

Georgy Borodin in Airflow
Андрей
А про веб это же к s3 вопрос
Да, в итоге дёргает с s3, супер
источник
20:56пожаловаться#15
2020 October 02

YL

Yevhenii Lukashov in Airflow
Тоже настроил логи на с3, работает норм
источник
01:57пожаловаться#16

ДН

Дмитрий Негреев... in Airflow
как можно проверить, стартанул dagrun по-расписанию или нет?
пока из вариантов вижу только смотреть что runid начинается на scheduled
источник
09:34пожаловаться#17

ИХ

Ильяс Хакиев... in Airflow
Я должен сжедать это😀
Поехали 🚀
источник
10:10пожаловаться#18

I

Igor in Airflow
Дмитрий Негреев
как можно проверить, стартанул dagrun по-расписанию или нет?
пока из вариантов вижу только смотреть что runid начинается на scheduled
У объекта dagrun есть булевое поле external_trigger
источник
10:13пожаловаться#19

ДН

Дмитрий Негреев... in Airflow
Igor
У объекта dagrun есть булевое поле external_trigger
спасибо, то что нужно
источник
10:34пожаловаться#20