В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

825 membersпожаловаться на группу
2020 June 23

AA

Anton Afonin in Airflow
Так как раз для запуска скриптов вместо крона он отлично зайдёт)
И на самом деле для этого четырнадцать дополнительных сервисов разворачивать не надо, как здесь советуют)
источник
11:06пожаловаться#1

GG

George Gaál in Airflow
запуск скриптов вместо крона - это systemd timers, rundeck, schedules в jenkins, gitlab-ci - что еще можно упомянуть?
источник
11:07пожаловаться#2

GG

George Gaál in Airflow
зачем для этого еще тащить такую махину как airflow? ну, ок - вы говорите, что там гуй красивый
источник
11:08пожаловаться#3

GG

George Gaál in Airflow
ну, ок - возьмите cockpit 😊 раз. Два - у женьки, рандека и гитлаба тоже гуй
источник
11:08пожаловаться#4

AA

Anton Afonin in Airflow
Сюда бы ещё написать вкратце, чем эти сервисы друг от друга отличаются (сложность установки, настройки, нужные дополнительные сервисы, ...) и можно закреплять - количество холиваров уменьшится втрое, полезность чата повыситься вчерверо)
источник
11:14пожаловаться#5

АЖ

Андрей Жуков... in Airflow
Anton Afonin
Сюда бы ещё написать вкратце, чем эти сервисы друг от друга отличаются (сложность установки, настройки, нужные дополнительные сервисы, ...) и можно закреплять - количество холиваров уменьшится втрое, полезность чата повыситься вчерверо)
валишь!
источник
11:16пожаловаться#6

АЖ

Андрей Жуков... in Airflow
в чате по Кокпиту Георг наверняка советует Эйрфлоу
источник
11:16пожаловаться#7

OI

Oleg Ilinsky in Airflow
sticker.webp
(22.21 Кб)
источник
11:27пожаловаться#8

GG

George Gaál in Airflow
Андрей Жуков
в чате по Кокпиту Георг наверняка советует Эйрфлоу
👍
источник
11:28пожаловаться#9

A

Andrey in Airflow
Ребят привет.
Есть ли возможность в кастомном операторе получить дату за которую запускается DAG?
Чет мои разрабы говорят что с кастомными оператораторами это не работает и получается что перезапустить такой даг за некое время в прошлом невозможно.
источник
12:28пожаловаться#10

OI

Oleg Ilinsky in Airflow
Andrey
Ребят привет.
Есть ли возможность в кастомном операторе получить дату за которую запускается DAG?
Чет мои разрабы говорят что с кастомными оператораторами это не работает и получается что перезапустить такой даг за некое время в прошлом невозможно.
можно залезть в context и там будет execution_date
источник
12:35пожаловаться#11

OI

Oleg Ilinsky in Airflow
источник
12:48пожаловаться#12

ME

Max Efremov in Airflow
Andrey
Ребят привет.
Есть ли возможность в кастомном операторе получить дату за которую запускается DAG?
Чет мои разрабы говорят что с кастомными оператораторами это не работает и получается что перезапустить такой даг за некое время в прошлом невозможно.
Кастомный, это не питон оператор?
источник
12:52пожаловаться#13

ME

Max Efremov in Airflow
Подскажите, а можно ли сделать, чтобы при заваливании одной таски даг просто шёл к следующей дате, а при заваливании других - останавливался? Здесь нужно бранчевание?
источник
14:05пожаловаться#14

SA

Sevak Avetisyan in Airflow
Max Efremov
Подскажите, а можно ли сделать, чтобы при заваливании одной таски даг просто шёл к следующей дате, а при заваливании других - останавливался? Здесь нужно бранчевание?
триггер рул можешь попробовать выставить для таски
https://airflow.apache.org/docs/stable/concepts.html#trigger-rules
источник
14:05пожаловаться#15

ME

Max Efremov in Airflow
Ага, т.е. по сути будет бранчевание на 2 ветки, если ок - одна ветка, если не ок, другая (просто скипаем всё) и в конце сводим вместе.
источник
14:15пожаловаться#16

BB

Bral Bral in Airflow
На днях столкнулся с тем , что шедулер просто перестает работать . На ui отображается , как последний хертбит был получен N времени назад . Версия 1.10.10. покопался , нашел свежую тему https://github.com/apache/airflow/issues/7935 . Пишут что нужно запускать с параметром -n .
GitHub
scheduler gets stuck without a trace · Issue #7935 · apache/airflow
Apache Airflow version: Kubernetes version (if you are using kubernetes) (use kubectl version): Environment: Cloud provider or hardware configuration: OS (e.g. from /etc/os-release): Kernel (e.g. u...
источник
14:19пожаловаться#17

BB

Bral Bral in Airflow
В документации : Set the number of runs to execute before exiting
источник
14:20пожаловаться#18

ME

Max Efremov in Airflow
Bral Bral
На днях столкнулся с тем , что шедулер просто перестает работать . На ui отображается , как последний хертбит был получен N времени назад . Версия 1.10.10. покопался , нашел свежую тему https://github.com/apache/airflow/issues/7935 . Пишут что нужно запускать с параметром -n .
GitHub
scheduler gets stuck without a trace · Issue #7935 · apache/airflow
Apache Airflow version: Kubernetes version (if you are using kubernetes) (use kubectl version): Environment: Cloud provider or hardware configuration: OS (e.g. from /etc/os-release): Kernel (e.g. u...
а у меня отрубается, когда питон оператор долго работает. В UI пишет, что шедулер не отвечает. Это нормальное поведение?
источник
14:20пожаловаться#19

ME

Max Efremov in Airflow
У меня там спарк запускается в фоне и ждёт, когда кончится
источник
14:20пожаловаться#20