Телеграмм чат группы ruairflow страница 1423

ок пнл, попробую

18:39пожаловаться #1

Слушайте, а если мне надо какую-то логику сделать с контекстом, то мне только пайтон оператор поможет в этом случае? У меня сейчас в пайтон операторе идёт определение даты запуска и чекается такой ключ в s3. Хочу перейти на EMR оператор, но вот хз, как логику такую перенести...

20:39пожаловаться #2

BashOperator тоже умеет

20:40пожаловаться #3

Нужно чекать

20:40пожаловаться #4

У меня EmrAddStepsOperator(

20:40пожаловаться #5

там только темплейтед поля

20:40пожаловаться #6

Хз че это)

20:41пожаловаться #7

Сорри

20:41пожаловаться #8

Это для запуска спарка в хадупе (EMR) от амазона

20:41пожаловаться #9

наверное надо свой оператор написать)

20:41пожаловаться #10

Ivan in Airflow

Всем привет. Подскажите плиз - добавил новую переменную в bashrc, а Airflow не видит когда запускаю DAG. Сервер перезагружал - не помогает

21:36пожаловаться #11

Antony in Airflow

Есть тюбаш оператор запускаешь то там свое темповое окружение

21:50пожаловаться #12

Ivan in Airflow

а как мне его синхронизировать с измененным bashrc?

21:58пожаловаться #13

Antony in Airflow

source activate .bashrc

22:00пожаловаться #14

Antony in Airflow

Путь только полный укажи

22:00пожаловаться #15

2021 April 20

Panchenko Andrey in Airflow

Привет. Есть вопрос.
Как понять когда должен отработать даг? Старт дэйт сегодня, интервал каждые 5 дней.
Я подозреваю что старт дэйт плюс интервал или как?

08:21пожаловаться #16

Ага

08:26пожаловаться #17

Panchenko Andrey in Airflow

Спасибо

08:27пожаловаться #18

Dnz in Airflow

В стартдейт тоже запустится

09:33пожаловаться #19

Dnz in Airflow

И каждые 5 дней в этоже время, независимо от времени завершения.