Size: a a a

2020 November 16

AB

Andrey Bodosov in Airflow
А какова классическая задача для airflow?
источник

S

Shadilan R16 MU Rost... in Airflow
Посмотри в стороны каких нибудь стримов или микробатчей... Airflow более батчевый (ИМХО) а у тебя выглядит очень стримово...  у нас точно задача в nifi а не в батч движок

Надеюсь меня не побьют здесь :) за NiFi :)
источник

С

Сюткин in Airflow
Shadilan R16 MU Rostov
Посмотри в стороны каких нибудь стримов или микробатчей... Airflow более батчевый (ИМХО) а у тебя выглядит очень стримово...  у нас точно задача в nifi а не в батч движок

Надеюсь меня не побьют здесь :) за NiFi :)
15 минут для airflow вполне реально же
источник

S

Shadilan R16 MU Rost... in Airflow
Ну я не спорю реально :) но мне кажется на NiFi он лучше ложиться :) но у меня может быть зашоренное сознание :)

Прям вот как каноничная задача для NiFi
источник

С

Сюткин in Airflow
Andrey Bodosov
А какова классическая задача для airflow?
Да не, тоже реально
Вопрос от архитектуры

Сам выбираешь инструмент или выбора нет и юзаешь то что есть?
источник

AB

Andrey Bodosov in Airflow
Выбираю сам. В airflow подкупил python так как остовной обработчик написан на python
источник

С

Сюткин in Airflow
Тогда попробуй airflow , а затем попробуй nifi

Что больше понравится то и оставь
Ибо с этим будешь дальше жить и натягивать на инструмент свои задачи
источник

AB

Andrey Bodosov in Airflow
Посмотрел nifi и действительно, как с меня писано. 🙂 Спасибо за наводку. Обязательно посмотрю.
источник

M

Mikhail in Airflow
если нравится питон, посмотрите в сторону https://streamz.readthedocs.io/
источник

M

Mikhail in Airflow
у nifi недостаток в том, что то что из коробки работает отлично, но расширять очень сложно
источник

M

Mikhail in Airflow
и отлаживать
источник

M

Mikhail in Airflow
я в итоге перешел на streamz, немного больше обвязки нужно, но зато больше контроля
источник

С

Сюткин in Airflow
Andrey Bodosov
Посмотрел nifi и действительно, как с меня писано. 🙂 Спасибо за наводку. Обязательно посмотрю.
чат дата инженегров https://t.me/hadoopusers
чат nifi https://t.me/nifiusers

надеюсь меня не забанят)
источник

S

Shadilan R16 MU Rost... in Airflow
Сюткин
чат дата инженегров https://t.me/hadoopusers
чат nifi https://t.me/nifiusers

надеюсь меня не забанят)
я NiFi уже в личку кинул :) чтобы не забанили :) про хадуп не подумал сходу
источник

DN

Dmitriy Novikov in Airflow
Сюткин
чат дата инженегров https://t.me/hadoopusers
чат nifi https://t.me/nifiusers

надеюсь меня не забанят)
Поч негров?)
источник

С

Сюткин in Airflow
часто работают на галерах где тебя продают в другие фирмы
источник

ME

Max Efremov in Airflow
Консультантов)
источник

VN

Vova Narovchatskiy in Airflow
Коллеги, не могу понять, почему таск не берется воркером в работу.
Когда убираю end_date, то таск отбегает.
В данном случае просто зависает
источник

OI

Oleg Ilinsky in Airflow
Vova Narovchatskiy
Коллеги, не могу понять, почему таск не берется воркером в работу.
Когда убираю end_date, то таск отбегает.
В данном случае просто зависает
так end_date в прошлом
источник

OI

Oleg Ilinsky in Airflow
вот шедулер и смотрит, что текущая дата > end_date => запускать задачу не нужно
источник