AT
гугловый AWS-managed Airflow :)
Size: a a a
2020 November 26
AT
кто попробует напишите плиз - че там как
AT
как говорили во времена моей молодости - там где даги там напряги
ОБ
Друзья, всем привет!
ОБ
Подскажите, а можно ли (и правильно ли так делать) запускать под Airflow постоянно работающий процесс?
ОБ
Т.е. есть код на python-е, который раз в секунду (или даже чаще) дергает данные из одного сервиса и кладет их в базу данных.
ОБ
Т.е. напрашивается, что его запустить один раз и пусть он в цикле это все лопатит
SG
Т.е. есть код на python-е, который раз в секунду (или даже чаще) дергает данные из одного сервиса и кладет их в базу данных.
Раз в секунду или чаще — это не про Airflow
M
Т.е. напрашивается, что его запустить один раз и пусть он в цикле это все лопатит
не устаю рекомендовать: https://github.com/python-streamz/streamz
ОБ
То что не про Airflow - это да, знаю )
SG
Потому что, исходя из описания, вам надо писать какой-то отдельный сервис под эту задачку
ОБ
не устаю рекомендовать: https://github.com/python-streamz/streamz
Но у нас проблема не в реализации. Код простейший - несколько строчек ("отсюда взял, туда положил"), а в организации контроля этого севриса
SG
Который и будет работать как отдельный процесс
ОБ
Т.е. тупо где-то запустить этот процесс, и пусть молотит... вне Airflow
ОБ
SG
Ага
2020 November 27
IL
Всем привет, какой параметр отвечает за создание задач от
Аирфлоу шедулер неделю был отключен и не выполнял задачи, сейчас запустил и он начал спавнить задачи на неделю назад, мне их не нужно)
start_date до текущей даты?Аирфлоу шедулер неделю был отключен и не выполнял задачи, сейчас запустил и он начал спавнить задачи на неделю назад, мне их не нужно)