В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1001 membersпожаловаться на группу
2020 October 21

AK

Andrew Konstantinov in Airflow
Nikita Vladivostok
Привет, airflow отказывается видеть ChromeDriver для использования silenium, путь до драйвера прописан абсолютный, если этот скрипт выполнить просто в терминале, то все ок... Из-за чего может быть проблема?
Проблема в разных виртуальных окружениях скорее всего
источник
11:00пожаловаться#1

NV

Nikita Vladivostok in Airflow
Andrew Konstantinov
Проблема в разных виртуальных окружениях скорее всего
Скрипт запускался под тем же venv
источник
11:00пожаловаться#2

M

Mikhail in Airflow
Nikita Vladivostok
Привет, airflow отказывается видеть ChromeDriver для использования silenium, путь до драйвера прописан абсолютный, если этот скрипт выполнить просто в терминале, то все ок... Из-за чего может быть проблема?
в контейнере небось?
источник
21:06пожаловаться#3

NZ

Nikita Zhidkov in Airflow
Всем привет, только разбираюсь с airflow, написал dag - пытаюсь его открыть в ui панели и получаю ошибку "DAG "svc_preparation_dag2" seems to be missing."
Подскажите, пожалуйста, как я могу посмотреть какие-нибудь логи, чтобы понять в чём ошибка в dag
источник
22:06пожаловаться#4

E

Edya in Airflow
Nikita Zhidkov
Всем привет, только разбираюсь с airflow, написал dag - пытаюсь его открыть в ui панели и получаю ошибку "DAG "svc_preparation_dag2" seems to be missing."
Подскажите, пожалуйста, как я могу посмотреть какие-нибудь логи, чтобы понять в чём ошибка в dag
в логах вебсервера/скедулера должно быть.
Еще можно запустить airflow list_dags
источник
22:32пожаловаться#5

NZ

Nikita Zhidkov in Airflow
Спасибо! List dags то что нужно
источник
22:44пожаловаться#6

M

Mikhail in Airflow
еще можно питоном просто запустить дагфайл
источник
22:44пожаловаться#7

M

Mikhail in Airflow
python dags/svc_preparation_dag2.py
источник
22:45пожаловаться#8
2020 October 22

ДН

Дмитрий Негреев... in Airflow
подскажите, какие минимальные условия необходимы, чтобы dag_processor начал файл обрабатывать?
то я перенес дагогенерацию в отдельную либу, соот-но import airflow или from aiflow стал отсутстовать.
добавил просто import airflow - не помогло, с from airflow import DAG работает, но выглядит конечно костыльно
источник
07:30пожаловаться#9

I

Igor in Airflow
Там в конфиге есть опция что-то типа safe dag processing или что-то такое, она отключает эту проверку
источник
08:53пожаловаться#10

ДН

Дмитрий Негреев... in Airflow
Igor
Там в конфиге есть опция что-то типа safe dag processing или что-то такое, она отключает эту проверку
# When discovering DAGs, ignore any files that don't contain the strings ``DAG`` and ``airflow``.
dag_discovery_safe_mode = True

нашел, спасибо!
источник
10:01пожаловаться#11

I

Igor in Airflow
Дмитрий Негреев
# When discovering DAGs, ignore any files that don't contain the strings ``DAG`` and ``airflow``.
dag_discovery_safe_mode = True

нашел, спасибо!
sticker.webp
(26.37 Кб)
источник
10:15пожаловаться#12

VK

Vladimir K. in Airflow
Всем привет. Подскажите, пожалуйста. Я ограничил количество одновременно выполняемых задач в даге до 2ух. Но проблема в том, что остальные обозначаются как up_for_retry, пробуют перезапуститься, те две до сих пор выполняются и падают в статус failed (
Почему задачи не висят в статусе queued, а пытаются запуститься? Ведь стоит ограничение на 2 активных задачи
источник
11:36пожаловаться#13

VK

Vladimir K. in Airflow
Вот пример. Я добавил каждой таске вес, но он его игнорирует
Я планировал, что он пойдёт по порядку. Да, можно сделать  последовательное движение по ним, но на большом количестве тасок оно выглядит... Плохо
источник
13:15пожаловаться#14

SG

Sergey Gavrilov in Airflow
Vladimir K.
Вот пример. Я добавил каждой таске вес, но он его игнорирует
Я планировал, что он пойдёт по порядку. Да, можно сделать  последовательное движение по ним, но на большом количестве тасок оно выглядит... Плохо
Вам надо установить в аргументах дага, чтобы он принимал абсолютный вес дагов. Это может помочь
источник
13:19пожаловаться#15

VK

Vladimir K. in Airflow
Sergey Gavrilov
Вам надо установить в аргументах дага, чтобы он принимал абсолютный вес дагов. Это может помочь
Да, теперь он их выполняет в нужном порядке. Спасибо
источник
13:34пожаловаться#16

SG

Sergey Gavrilov in Airflow
Vladimir K.
Да, теперь он их выполняет в нужном порядке. Спасибо
Не ожидал такого исхода. Спасибо за эксперимент!
источник
13:39пожаловаться#17

GB

Georgy Borodin in Airflow
Sergey Gavrilov
Вам надо установить в аргументах дага, чтобы он принимал абсолютный вес дагов. Это может помочь
Чисто из интереса: а разве недостаточно на уровне тасков прописать weight_rule='absolute'?
источник
13:40пожаловаться#18

SG

Sergey Gavrilov in Airflow
Georgy Borodin
Чисто из интереса: а разве недостаточно на уровне тасков прописать weight_rule='absolute'?
Понятия не имею, если честно. Надо посмотреть объявление Даша и тасков, чтобы проверить связь между этими определениями
источник
13:41пожаловаться#19

VK

Vladimir K. in Airflow
Sergey Gavrilov
Не ожидал такого исхода. Спасибо за эксперимент!
Только есть небольшая проблемка) Например, вы идёте по ветке d1 >> p1
У меня стоит ограничение, что только одна активная таска в рамках дага
Он ставит для d2 и d3 статус queued. Потом он их делает up_for_retry. А потом failed)
Вот с этим не знаю, что делать. Придётся, видимо, делать последовательное выпонление
источник
13:41пожаловаться#20