RL
Всем привет. А кто ни будь испоьзовал airflow в связке с rabbitmq? Сдюжит с нагрузкой примерно 2Mb в секунду? Ну вообще насколько эта связка юзабельна, просто airflow заявлен как инструмент для пакетной обработки, а не потоковой
Size: a a a
2020 December 07
VS
airflow для пакетной обработки, не стоит туда стриминг пихать
S
а зачем тебе Java для nifi ... он же codeless. Java может понадобиться если нет нужных коннекторов, или какая то дикосложная обработка (и то ее можно реализовать без особых знаний java на groovy или jython) Но это темя другого чата :)
RL
а зачем тебе Java для nifi ... он же codeless. Java может понадобиться если нет нужных коннекторов, или какая то дикосложная обработка (и то ее можно реализовать без особых знаний java на groovy или jython) Но это темя другого чата :)
да, я имел ввиду, что возможно возникнет нужда его допилить ))) спасибо
ME
Roman Lukianov
Всем привет. А кто ни будь испоьзовал airflow в связке с rabbitmq? Сдюжит с нагрузкой примерно 2Mb в секунду? Ну вообще насколько эта связка юзабельна, просто airflow заявлен как инструмент для пакетной обработки, а не потоковой
У меня rabbit как бекенд для селери, считается?)
VS
нет, потому что там кролик для стриминга, а не про бекенд брокер речь
RL
У меня rabbit как бекенд для селери, считается?)
да не )
A
Есть у кого-нить инструкция по установке помимо официальной документации? Попробовал ставить и на centos и на ubuntu версии airflow c 9 по 12. У каждого способа какие то ошибки во время установки связаные с зависимостями тех или ных пакетов. Если попробовать их исправить, то установленный airflow теряет какой-то функционал. А в некоторых случаях иногда просто падает при загрузке дагов.
Может будет полезно
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.9/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.9/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.10/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.10/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.8.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.8.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.9/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.9/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.10/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.10/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.11/constraints-3.8.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.6.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.7.txt
https://raw.githubusercontent.com/apache/airflow/constraints-1.10.12/constraints-3.8.txt
ДН
Для python есть ещё Faust, ну и структурный стриминг на pyspark например
ДН
подскажите где почитать про настройку кубэкзекутора?
что-то в доках только общий обзор, а про настройку pod template и всего другого ничего нет
что-то в доках только общий обзор, а про настройку pod template и всего другого ничего нет
Неужели ничего нет?)
P
Неужели ничего нет?)
Исходный код приходит на ум))
P
Roman Lukianov
Всем привет. А кто ни будь испоьзовал airflow в связке с rabbitmq? Сдюжит с нагрузкой примерно 2Mb в секунду? Ну вообще насколько эта связка юзабельна, просто airflow заявлен как инструмент для пакетной обработки, а не потоковой
Возьмите флинк, там нет лишних зависимостей, разворачивается без проблем
ДН
Исходный код приходит на ум))
Ну если уж совсем ничего другого не будет)
VS
А обычно ничего нет, все что нет в документации, лучше всего смотреть в исходниках
IK
кто то уже тестирует AIrflow 2.0 ? У меня чет постоянно вываливается 502, хочу понять я один такой или нет
IK
Но скорость работы радует