В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

959 membersпожаловаться на группу
2020 September 29

NP

N P in Airflow
Наверняка ктото сталкивался
источник
17:45пожаловаться#1

ДН

Дмитрий Негреев... in Airflow
Кто пользуется ExternalTaskSensor для установки зависимостей между дагами?
Как вы свои задачи запускаете вне расписания?
Если просто выполнить trigger_dag, по-идее сенсоры просто встанут на ожидание, т.к. даграна от которого зависит даг несуществует за заданную timedelta.
источник
18:33пожаловаться#2

ДН

Дмитрий Негреев... in Airflow
N P
Привет коллеги!) разрешите вопрос:
Имею dag с депендс он паст тру ,  кэтчап тру. Старт дата - два дня назад. , интервал @daily .  Работает норм. Одна проблема - последний инстанс - не запускается хотя должен происходить сегодня
Пока такое чувство что вы думаете, что ваш execution_date за сегодня должен сегодня и сработать.
Если нет - больше подробностей за какие execution_date были прогоны, и в какой момент времени даг включили.
источник
18:35пожаловаться#3

ДН

Дмитрий Негреев... in Airflow
Дмитрий Негреев
Кто пользуется ExternalTaskSensor для установки зависимостей между дагами?
Как вы свои задачи запускаете вне расписания?
Если просто выполнить trigger_dag, по-идее сенсоры просто встанут на ожидание, т.к. даграна от которого зависит даг несуществует за заданную timedelta.
Подумал, что можно просто чистить даграны, которые по расписанию запускались)
а действительно ли так надо делать?
источник
18:42пожаловаться#4

NP

N P in Airflow
Дмитрий Негреев
Пока такое чувство что вы думаете, что ваш execution_date за сегодня должен сегодня и сработать.
Если нет - больше подробностей за какие execution_date были прогоны, и в какой момент времени даг включили.
Вы правы) пункт 1 .  Реально ожидаю что сегодня и должен,  поскольку по старт дэйт плюс шедулер интервал как раз пройден
источник
18:51пожаловаться#5

ДН

Дмитрий Негреев... in Airflow
N P
Вы правы) пункт 1 .  Реально ожидаю что сегодня и должен,  поскольку по старт дэйт плюс шедулер интервал как раз пройден
проникнитесь в суть execution_date
условно если в 00:00 запускается даг, значит ваш последний дагран должен быть за вчера 00:00 (по execution_date естессно)
источник
18:54пожаловаться#6

ME

Max Efremov in Airflow
N P
Привет коллеги!) разрешите вопрос:
Имею dag с депендс он паст тру ,  кэтчап тру. Старт дата - два дня назад. , интервал @daily .  Работает норм. Одна проблема - последний инстанс - не запускается хотя должен происходить сегодня
а оно всегда с лагом в день будет, если надо процессить данные сентября, то оно запустится, когда сентябрь кончится, т.е. 1 октября
источник
20:24пожаловаться#7

A

Anatole in Airflow
Anton Afonin
Или вообще максимально близко к тз
https://airflow.apache.org/docs/stable/howto/connection/index.html#using-docker-env
А вы пробовали передать так как там написано?
источник
20:53пожаловаться#8

A

Anatole in Airflow
Почему то надежнее кажется сделать makefile и скрипт для импорта прописанных в файле параметров но все равно спасибо буду пробовать и так и так
источник
20:55пожаловаться#9

NP

N P in Airflow
Дмитрий Негреев
проникнитесь в суть execution_date
условно если в 00:00 запускается даг, значит ваш последний дагран должен быть за вчера 00:00 (по execution_date естессно)
Учтя этот комментарий решил проблему, спасибо)
источник
21:40пожаловаться#10

AA

Anton Afonin in Airflow
Anatole
А вы пробовали передать так как там написано?
Нет, а к чему вопрос?)
источник
21:58пожаловаться#11

K

KrivdaTheTriewe in Airflow
Дагогенерация вперёд
источник
23:26пожаловаться#12

K

KrivdaTheTriewe in Airflow
По эирфлоу есть митапы в рф ?
источник
23:26пожаловаться#13

K

KrivdaTheTriewe in Airflow
Или что то крупное сча будет ?
источник
23:26пожаловаться#14

YL

Yevhenii Lukashov in Airflow
Или книги
источник
23:26пожаловаться#15

YL

Yevhenii Lukashov in Airflow
Есть книги по аирфлоу?
источник
23:27пожаловаться#16

K

KrivdaTheTriewe in Airflow
Книги не нужны
источник
23:27пожаловаться#17

K

KrivdaTheTriewe in Airflow
Yevhenii Lukashov
Есть книги по аирфлоу?
Дока
источник
23:27пожаловаться#18

K

KrivdaTheTriewe in Airflow
И отказаться от встроенных операторов
источник
23:27пожаловаться#19

YL

Yevhenii Lukashov in Airflow
Как написать свой?
источник
23:27пожаловаться#20