В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1070 membersпожаловаться на группу
2020 December 30

P

Pavel in Airflow
mkalinin
Всем привет. Кто подскажет как вывести стату по текущим дагам на какой нибудь порт, чтобы на него мониторинг повесить?
Если есть более эффективный вариант (более шустрый, больше возможностей для настройки мониторинга статусов), буду рад полезной ссылке )
В виде плагина ставится
источник
13:30пожаловаться#1

m

mkalinin in Airflow
Pavel
Prometheus metric exporter
Видел на гитхаб экспортера для Airflow, его рекомендуете использовать?
источник
13:31пожаловаться#2

А

Андрей in Airflow
mkalinin
В доке поискать statsd?
Можно и так
источник
13:32пожаловаться#3

m

mkalinin in Airflow
Андрей
Можно и так
Ну хотелось бы более точную ссылку)) если есть
источник
13:33пожаловаться#4

P

Pavel in Airflow
mkalinin
Видел на гитхаб экспортера для Airflow, его рекомендуете использовать?
У нас получилось вполне годный дашборд собрать, сгруппировать даги, таски. Даже по владельцам дагов можно группировать.
источник
13:36пожаловаться#5

m

mkalinin in Airflow
Pavel
У нас получилось вполне годный дашборд собрать, сгруппировать даги, таски. Даже по владельцам дагов можно группировать.
Понял, сочту за рекомендацию
источник
13:36пожаловаться#6

KP

Konstantin Petrov in Airflow
задал dags_folder, с директорией dags, после init airflow принял папку dags за airflow_home. Поправил конфиг, удалил директорию dags и при init db он опять разворчивается туда. Как можно обойти и откуда он тянет старые настройки?
источник
14:59пожаловаться#7

KP

Konstantin Petrov in Airflow
ok, export AIRFLOW_HOME=''
источник
15:09пожаловаться#8

P

Pavel in Airflow
Konstantin Petrov
задал dags_folder, с директорией dags, после init airflow принял папку dags за airflow_home. Поправил конфиг, удалил директорию dags и при init db он опять разворчивается туда. Как можно обойти и откуда он тянет старые настройки?
Директорию с дагами можно указать как в конфиг-файле, так и через переменные.
Старые настройки он ни откуда не тянет, если вы сделали init db.
источник
15:09пожаловаться#9

KP

Konstantin Petrov in Airflow
из переменной тянул
источник
15:10пожаловаться#10

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
22:52пожаловаться#11
2021 January 01

Р

Руслан in Airflow
Привет. Вопрос по поводу scheduler'а.
Я же правильно понимаю, что если я устанавливаю start_date, например, в 2020-12-25 04:00 и schedule_interval в @daily, то будет запускаться начиная с 2020-12-26 каждый день в 4 утра?
источник
19:00пожаловаться#12

MS

Maksim S. in Airflow
Руслан
Привет. Вопрос по поводу scheduler'а.
Я же правильно понимаю, что если я устанавливаю start_date, например, в 2020-12-25 04:00 и schedule_interval в @daily, то будет запускаться начиная с 2020-12-26 каждый день в 4 утра?
Не верно. @daily это аналог cron 0 0 * * *
источник
19:41пожаловаться#13

Р

Руслан in Airflow
Maksim S.
Не верно. @daily это аналог cron 0 0 * * *
Тогда с 2020-12-26 каждый день в 00:00?
источник
19:46пожаловаться#14

AA

Anton Afonin in Airflow
Руслан
Тогда с 2020-12-26 каждый день в 00:00?
Каждый день в 00:00, начиная с 27.12
источник
23:50пожаловаться#15

AA

Anton Afonin in Airflow
Потому что к 26 не успеет пройти один интервал
источник
23:50пожаловаться#16

Р

Руслан in Airflow
Anton Afonin
Потому что к 26 не успеет пройти один интервал
Спасибо!
источник
23:56пожаловаться#17
2021 January 03

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник
00:25пожаловаться#18
2021 January 06

ДН

Дмитрий Негреев... in Airflow
кто юзает k8s executor, сколько вы минимум реквестов закладываете в под? пробовал начать с 0.1 ядра - между стартом контейнера и запуском таски почти минута проходит
больше давать не хочется, потому что задачи очень мелкие и их очень много (на 0.5 ядра celery воркера спокойно 16 тасок живут)
источник
09:28пожаловаться#19

P

Pavel in Airflow
Дмитрий Негреев
кто юзает k8s executor, сколько вы минимум реквестов закладываете в под? пробовал начать с 0.1 ядра - между стартом контейнера и запуском таски почти минута проходит
больше давать не хочется, потому что задачи очень мелкие и их очень много (на 0.5 ядра celery воркера спокойно 16 тасок живут)
Мы. Даем на большинство тасок именно по 100m
источник
09:54пожаловаться#20