В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1001 membersпожаловаться на группу
2020 October 15

Н

Никита in Airflow
ребята, как скипнуть таску на основе  скипнутой таски в другом даге
источник
16:18пожаловаться#1

S

S in Airflow
Georgy Borodin
Подскажите, как можно исправить следующую ситауцию?
CeleryExecutor, DAG из 4+ тысяч тасков, разделённых на две разные очереди, с разными воркерами.
Таски долго висят в статусе None, в очереди появляются с очень большим лагом. Вижу, что выполнились задачи, но прежде чем новые попадут хотя бы в scheduled, проходит очень много времени (>5 минут)
А какой брокер сообщений используете?
источник
16:21пожаловаться#2

z

zxyzxy in Airflow
Никита
ребята, как скипнуть таску на основе  скипнутой таски в другом даге
бранч оператор и костыль который будет проверять условия?
источник
16:23пожаловаться#3

Н

Никита in Airflow
костыль не хочу, хочу по науке
источник
16:24пожаловаться#4

Н

Никита in Airflow
у меня сенсор смотрит на таску которая может быть скипнута а может саксесс
неужели нельзя как то понять если она скипнута, то скипни сенсор
источник
16:24пожаловаться#5

z

zxyzxy in Airflow
Ну наследоваться от стандартного сенсора и добавить свои условия не вариант совсем?
источник
16:28пожаловаться#6

Н

Никита in Airflow
не вариант, лана костыль тогда
источник
16:32пожаловаться#7

GB

Georgy Borodin in Airflow
S
А какой брокер сообщений используете?
Redis
источник
16:46пожаловаться#8

VS

Vladislav 👻 Shishkov... in Airflow
Georgy Borodin
Сколько ядер имеет смысл давать в продакшене? У меня сейчас на scheduler-е 2 ядра
для такого дага даже трудно представить...
источник
16:47пожаловаться#9

VS

Vladislav 👻 Shishkov... in Airflow
надо смотреть и дебажить, что происходит с шедулером и какие у него параметры
источник
16:48пожаловаться#10

GB

Georgy Borodin in Airflow
Vladislav 👻 Shishkov
надо смотреть и дебажить, что происходит с шедулером и какие у него параметры
Шедулеру дал 3 потока и num_runs в 20, в остальном тривиально всё
источник
16:56пожаловаться#11

ДН

Дмитрий Негреев... in Airflow
zxyzxy
Ну наследоваться от стандартного сенсора и добавить свои условия не вариант совсем?
смотрите не на таску, а на даг
источник
17:06пожаловаться#12

D

Dmitry in Airflow
Georgy Borodin
Шедулеру дал 3 потока и num_runs в 20, в остальном тривиально всё
а зачем num_runs=20?
источник
19:58пожаловаться#13

GB

Georgy Borodin in Airflow
Dmitry
а зачем num_runs=20?
Для рестарта шедулера в попытках остановить его деградацию
источник
20:07пожаловаться#14

D

Dmitry in Airflow
а он деградирует со временем?
источник
20:07пожаловаться#15

D

Dmitry in Airflow
я просто тут пару дней ранее писал, что у нас из-за num_runs=5 шедулер вис на длинных задачах
источник
20:08пожаловаться#16

GB

Georgy Borodin in Airflow
Dmitry
я просто тут пару дней ранее писал, что у нас из-за num_runs=5 шедулер вис на длинных задачах
Ну вот у меня не отправлял в расписание задачки, это был как один из советов для исправления нарыто
источник
20:10пожаловаться#17

GB

Georgy Borodin in Airflow
Но попробую действительно убрать, может только хуже делает
источник
20:11пожаловаться#18

VS

Vladislav 👻 Shishkov... in Airflow
В первую очередь надо разобраться со слотами, т.к. даг один, то сколько воркеров не поднимай, а по дефолту стартанет только 16 тасок вроде
источник
20:19пожаловаться#19

VS

Vladislav 👻 Shishkov... in Airflow
Второй момент, понять с таймингами шедулера и что у брокера
источник
20:20пожаловаться#20