N
после zipa
Size: a a a
2021 April 26
PK
Cogroup - это типичный RDD хак, чтобы сделать copartitioned rdd для широких трансформаций. Для примеров смотри книгу Холден
ПФ
Спасибо!
ПФ
Спасибо!
ПФ
Осталось придумать зачем это в реальной жизни, но теперь это есть в kotlin-spark-api, спасибо коммьюнити )))
N
вот тута добавится вкладочка?
ПФ
Ну SPIP никто не подтвердил — сказали что коммьюнити у нас нет
ПФ
Так что пока что нет, не в ближайшем будущем
ПФ
Ну тем не менее оно officially supported by JB
PK
Мне все ещё кажется, что cogroup имеет смысл только тогда, когда ты можешь явно управлять партишенером. Учитывая, что в dataframe и dataset api это невозможно, то нафиг оно и не нужно
ПФ
def cogroup[U, R](other: KeyValueGroupedDataset[K, U])(f: (K, Iterator[V], Iterator[U]) ⇒ TraversableOnce[R])(implicit arg0: Encoder[R]): Dataset[R]ПФ
То есть оно есть для датасетов
PK
Это хак работает только при минимум двух широких трансформациях подряд, типа join().groupby()
ПФ
но не для датафрейма
PK
Я питонист, посыпаю голову пеплом
GP
они в целом против еще языков в репе
GP
R надюесь выпилят, он существенно тормозит их
GP
холден говорила об этом на скала лове
ПФ
Я знаю про R, даже в докладе об этом говорил. Вопрос в том, что поддержка ещё одного JVM языка заметно проще чем поддержка не-JVM
GP
проще то проше, но имх пусть живет в отдельной репе со своим лайвсайклом