Size: a a a

2018 February 19

EM

Egor Mateshuk in Airflow
привет. я не решал, но по идее просто добавляешь в начале дага таску с BashOperator, который выполняет команду типа
"aws —profile $A_PROFILE ec2 run-instances \
 —image-id $A_AMI \
 —count $A_COUNT \
 —instance-type $A_TYPE \
 —key-name $A_SSHKEY"
источник

k

kirill in Airflow
Но ведь для ее запуска уже нужен работающий воркер?
источник

EM

Egor Mateshuk in Airflow
а я понял, воркеров селери для AF. тогда тут нужны советы практиков) я бы просто держал один воркер поднятым и разворачивал с него остальные. а действительно такая большая пиковая нагрузка, что нужно гибкое масштабирование?
источник
2018 February 20

FL

Fedor Lavrentyev in Airflow
Всем привет! Подскажите, пожалуйста. Airflow почему-то замыливает тексты в TreeView и GraphView. Даже не знаю, что гуглить. =) Вы с таким сталкивались?
источник

FL

Fedor Lavrentyev in Airflow
источник

FL

Fedor Lavrentyev in Airflow
источник

YE

Yury Emelyanov in Airflow
Можете это какой режим гостя? 😂
источник

YE

Yury Emelyanov in Airflow
Реально такое или шутите?
источник

FL

Fedor Lavrentyev in Airflow
Реально такое
источник

FL

Fedor Lavrentyev in Airflow
В Task Tries все названия видно:
источник

FL

Fedor Lavrentyev in Airflow
источник

FL

Fedor Lavrentyev in Airflow
Если это режим гостя, то какой-то ущербный =)
источник

YE

Yury Emelyanov in Airflow
Мы не сталкивались, но и у нас версия постарее
источник

FL

Fedor Lavrentyev in Airflow
Вероятно, это знак, что пост надо все-таки соблюдать. =/
источник
2018 February 22

k

kirill in Airflow
Всем привет
источник

k

kirill in Airflow
Можно ли queue оператора задавать динамически с помощью jinja?
источник

k

kirill in Airflow
Я хочу, чтобы определение celery queue происходило в рантайме
источник

YE

Yury Emelyanov in Airflow
Насколько я знаю нет
источник

YE

Yury Emelyanov in Airflow
Нужно воркеры сельдерея запускать со списком очередей
источник
2018 March 06

EM

Egor Mateshuk in Airflow
друзья, как вы решаете такой кейс
1) есть старый DAG с 3 операторами, работает продолжительное время, запускается каждый час
2) добавляем в него еще один оператор и хотим сделать backfill - выполнить исторические запуски для нового оператора, чтобы на пару месяцев назад просчитать необходимые данные (задачи довольно тяжелые, пересчет истории займет несколько дней)
3) как запустить пересчет назад так, чтобы он не блокировал выполнение новых ежечасных задач для старых операторов? понизить приоритет? пересчитывать порциями? если порциями, то как их автоматически задавать? (можно написать кастомный шелл-скрипт периодически перезапускающий старые экземпляры дагов через cli, но хочется более универсальное  решение)
источник