В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

842 membersпожаловаться на группу
2020 July 08

BK

Boris Klyus in Airflow
Aлексей Mатюхин
Всем привет. Подскажите, пожалуйста, по такому вопросу. Есть web server, scheduler, которые запущены каждый в своем контейнере и смотрят на даги через смонтированные папки. После того, как добавлен новый даг, он появляется, но не запускается, скорее всего не работает scheduler, просто не подхватывается. Что в таком случае делать? Только контейнер с нуля перезапускать?
Скорее всего, вы в web- интерфейсе его не активировали (тумблер слева)
источник
20:14пожаловаться#1

AM

Aлексей Mатюхин... in Airflow
активировал. Тумблер on. Он по расписанию, но я его вручную тригернул
источник
20:15пожаловаться#2

AM

Aлексей Mатюхин... in Airflow
У меня такое было на локальной машине. Лечилось перезапуском scheduler
источник
20:16пожаловаться#3

AM

Aлексей Mатюхин... in Airflow
А вот как в докере...Там же просто так не перезапустишь...
источник
20:17пожаловаться#4

ME

Max Efremov in Airflow
マキシム サモイロフ
Можно первым шагом поставить проверку на успешность предыдущего даг рана. Я не помню есть ли стандартный оператор для этого, но вроде написать такой несложно
Сделал так, но выглядит как-то не красиво)
источник
20:17пожаловаться#5

ME

Max Efremov in Airflow
И если предыдущие перезапустить, следующий тоже надо перезапускать руками(
источник
20:18пожаловаться#6

E

Edya in Airflow
Max Efremov
И если предыдущие перезапустить, следующий тоже надо перезапускать руками(
источник
20:21пожаловаться#7

ME

Max Efremov in Airflow
Edya
точно, спасибо)
источник
20:43пожаловаться#8

AM

Aлексей Mатюхин... in Airflow
Что делать, если даг не запускается? Я его включил, вручную тригернул. Он пишет что запущен, но таски не выполняются
источник
20:45пожаловаться#9

ME

Max Efremov in Airflow
Хм, on_success_callback тригерится после выполнения каждой таски... А можно как-то по окончанию самого дага детектить?
источник
20:57пожаловаться#10

ME

Max Efremov in Airflow
В доке написано 
on_success_callback (callable) – Much like the on_failure_callback except that it is executed when the dag succeeds.
но судя по всему, это не правда
источник
20:58пожаловаться#11
2020 July 09

AM

Aлексей Mатюхин... in Airflow
Что делать, если даг не запускается? Я его включил, вручную тригернул. Он пишет что запущен, но таски не выполняются
источник
12:15пожаловаться#12

AM

Aлексей Mатюхин... in Airflow
В какую хоть сторону копать?
источник
12:16пожаловаться#13

ДН

Дмитрий Негреев... in Airflow
Aлексей Mатюхин
В какую хоть сторону копать?
Проверьте шедулер
источник
12:23пожаловаться#14

DS

Dmitry Samoylov in Airflow
Aлексей Mатюхин
В какую хоть сторону копать?
Да, иногда бывает, что шедулер зависает.
источник
12:27пожаловаться#15

AM

Aлексей Mатюхин... in Airflow
Спасибо. Кажется проблема в том, что вэб сервер и шедулер смотрят в разные места.
источник
12:34пожаловаться#16

AM

Aлексей Mатюхин... in Airflow
Коллеги, добрый день. Шедулер и Вэб сервер действительно не видели одну и ту же папку с дагами, теперь я их подружил. Шедулер ставит таск в очередь, но очередь не подхватывается, в какую строну копать?
источник
17:29пожаловаться#17

ДН

Дмитрий Негреев... in Airflow
Aлексей Mатюхин
Коллеги, добрый день. Шедулер и Вэб сервер действительно не видели одну и ту же папку с дагами, теперь я их подружил. Шедулер ставит таск в очередь, но очередь не подхватывается, в какую строну копать?
Что значит не подхватывается? Редис/mq и воркеры правильно настроены? Воркеры видят даги?
источник
17:52пожаловаться#18

ДН

Дмитрий Негреев... in Airflow
Если пытаетесь в докерах поднять с celery, то в базовом пукелевском примере все исчерпывающе представлено
источник
17:54пожаловаться#19

AM

Aлексей Mатюхин... in Airflow
Дмитрий Негреев
Если пытаетесь в докерах поднять с celery, то в базовом пукелевском примере все исчерпывающе представлено
Буду признателен за ссылку...
источник
18:02пожаловаться#20