В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1064 membersпожаловаться на группу
2020 December 22

ME

Max Efremov in Airflow
Ivan Kizimenko
как лучше реализовать такую задачу:
Трекаю наличие файла с интервалом примерно 2 час.
Если файл есть то даг выполняется если нет то скипается.
Но если сегодня задача уже запустилась то мне не нужно дальше мониторить наличие этого файла
Сенсор, бранчеватель и создавать лок файл, как сделали дела сегодня, на него проверку бранчевателем
источник
18:10пожаловаться#1

IK

Ivan Kizimenko in Airflow
Max Efremov
Сенсор, бранчеватель и создавать лок файл, как сделали дела сегодня, на него проверку бранчевателем
не пойму зачем тут бранчеватель? если сам даг будет по расписанию запускаться 1 раз, далее сенсор висит и ждет файла и трекает его наличие раз в час, как только успех то даг завершается и больше не работает
источник
18:13пожаловаться#2

ME

Max Efremov in Airflow
Чтобы завершался не ошибкой при скипе
источник
18:13пожаловаться#3

ME

Max Efremov in Airflow
По крайней мере я так сделал, может есть варианты
источник
18:13пожаловаться#4

ME

Max Efremov in Airflow
Ivan Kizimenko
не пойму зачем тут бранчеватель? если сам даг будет по расписанию запускаться 1 раз, далее сенсор висит и ждет файла и трекает его наличие раз в час, как только успех то даг завершается и больше не работает
А, ну в принципе да, можно просто раз в лент запускать дагран
источник
18:14пожаловаться#5

ME

Max Efremov in Airflow
А дальше сенсор висит сутки максииум и всё
источник
18:14пожаловаться#6

IK

Ivan Kizimenko in Airflow
ну главное мысль в правильном направлении, буду разбираться как сенсор зашедулить
источник
18:15пожаловаться#7

AK

Alexander Krasnopros... in Airflow
Всем привет. Есть вопрос ) если деплоите даги в докере. То как собираете - пакуете их, собственно интересен именно пайплайн сборки от комита до прода
источник
18:29пожаловаться#8

GB

Georgy Borodin in Airflow
Alexander Krasnoproshin
Всем привет. Есть вопрос ) если деплоите даги в докере. То как собираете - пакуете их, собственно интересен именно пайплайн сборки от комита до прода
Ну всё зависит от того, что у тебя за прод. В общем виде нужно маунтить директорию с дагами, а в неё пуллить из гита
источник
19:21пожаловаться#9

AK

Alexander Krasnopros... in Airflow
Georgy Borodin
Ну всё зависит от того, что у тебя за прод. В общем виде нужно маунтить директорию с дагами, а в неё пуллить из гита
А пиповые зависимости ?

Ну и привычка со времен эксплуатации - делать идемпотетные образы.
источник
19:22пожаловаться#10

AK

Alexander Krasnopros... in Airflow
чтоб доставлять именно докер-имеджеми
источник
19:22пожаловаться#11

GB

Georgy Borodin in Airflow
Alexander Krasnoproshin
А пиповые зависимости ?

Ну и привычка со времен эксплуатации - делать идемпотетные образы.
У меня отдельная репа под airflow, отдельная – под даги
источник
19:26пожаловаться#12

GB

Georgy Borodin in Airflow
Зависимости и сборка Airflow обновляется в одном репозитории, из другого тянутся файлы дагов
источник
19:26пожаловаться#13

GB

Georgy Borodin in Airflow
Доставлять всё в одном образе тоже можно, но как-то это не круто, перезапускать всё придётся
источник
19:27пожаловаться#14

ME

Max Efremov in Airflow
Georgy Borodin
У меня отдельная репа под airflow, отдельная – под даги
Свой форк аирфлоу?
источник
19:29пожаловаться#15

GB

Georgy Borodin in Airflow
Max Efremov
Свой форк аирфлоу?
Нет конечно)
Gitlab-репка для сбора и пуша образа
источник
19:29пожаловаться#16

ME

Max Efremov in Airflow
Мы на офф имадж перешли докеровский
источник
19:30пожаловаться#17

AK

Alexander Krasnopros... in Airflow
Georgy Borodin
Зависимости и сборка Airflow обновляется в одном репозитории, из другого тянутся файлы дагов
Ну это хорошо, если можно замаунитить. А если это k8s
источник
19:30пожаловаться#18

AK

Alexander Krasnopros... in Airflow
Max Efremov
Мы на офф имадж перешли докеровский
А зависимости ?)
источник
19:30пожаловаться#19

GB

Georgy Borodin in Airflow
Alexander Krasnoproshin
Ну это хорошо, если можно замаунитить. А если это k8s
То там есть git-sync официальный
источник
19:30пожаловаться#20