Ну что , кто нибудь сделал уже пункт управления для стриминг жоб с фронтом красивым ?

From Today, we have branch-3.0 as a tool of Feature Freeze.

    https://github.com/apache/spark/tree/branch-3.0

All open JIRA issues whose type is Improvement or New Feature and had 3.0.0 as a Target Version are changed accordingly first.

    - Most of them are re-targeted to 3.1.0.
    - Some of them are resolved according to the JIRA content.
    - Some unauthorized target versions are removed according to the community policy.

To sum up, we have no open Improvement/New Feature JIRA issues targeting 3.0.0 officially. For exceptional cases, we will discuss on them case by case during 3.0.0 QA phase.

На Спарк саммите зарелизят видимо

как думаете спарк "достаточно умный" чтобы в таком коде

.groupByKey()
.mapValues(len)

считать длину сначала на каждой партиции и потом сложить их?

https://spark.apache.org/docs/latest/api/python/_modules/pyspark/rdd.html#RDD.groupByKey

или нужно самому вручную пилить aggregateByKey
?

.groupByKey()
.mapValues(len)

В Spark Core (RDD) никаких оптимизаторов нет. Хочешь оптимизацию - пиши на датафреймах/датасетах. Иначе - сам

ну просто вот по ссылке вроде показалось что есть, я просто код не вывез (буду вывозить сейчас)

Фигню написал)

) а я уже начал имплементить

и даже что-то получилось?)))

вот в reduce, reduceByKey, aggregate, aggregateByKey точно такая оптимизация есть

типа делаем reduce сначала на нодах а потом редьюс результатов на драйвере

но все эти функции присылают результат на драйвер а мне это не нужно, у меня он не влезет, мне нужно оставить в RDD

А как тогда вы результат хотите извлечь?

Можно сделать любой редьюс, он пошафлит результат, но коллект на драйвер делать не будет

Это не подходит?

как?

ды я его просто сохраню в пикл saveAsPickle / потом прочту / либо сконверчу .toDF() .write.saveAsTable

rdd.reduceByKey(...) а дальше просто писать в любую базу/диск

Он не будет держать всю rdd физически на драйвере

Будет записывать по партишенам, но пикл конечно не прокатит, его нельзя писать/читать по частям вроде бы