Телеграмм чат группы moscowspark страница 356

Scala в этом выводит тип Seq[Any] . Т.е она ищет ближайшего общего потомка для всех значений , а доя Seq[Any] не существует декодера т.к в декодере нужен потомок DataType , а для Any такого нет

источник

23:56пожаловаться #7

2020 May 28

ПФ

Паша Финкельштейн... in Moscow Spark

Nikolay

Это понятно, да

источник

00:13пожаловаться #8

ПФ

Паша Финкельштейн... in Moscow Spark

Grigory Pomadchin

))) да Паша над интересной штукой работает он хочет котленовские налаблы завести

Причём уже много где работает :)

источник

00:13пожаловаться #9

Rudnev Il’ya in Moscow Spark

А в котлине Spark использовать это обыденность?

источник

11:42пожаловаться #10

Pavel Klemenkov in Moscow Spark

@khudobakhshov ?

источник

11:48пожаловаться #11

Mi in Moscow Spark

Rudnev Il’ya

А в котлине Spark использовать это обыденность?

пока что нет =(

источник

11:48пожаловаться #12

Vitaly Khudobakhshov in Moscow Spark

Rudnev Il’ya

А в котлине Spark использовать это обыденность?

нет, мы сейчас только работаем над поддержкой, какие-то вещи давно можно делать с Java API, но не очень приятно

источник

11:49пожаловаться #13

Mi in Moscow Spark

Vitaly Khudobakhshov

нет, мы сейчас только работаем над поддержкой, какие-то вещи давно можно делать с Java API, но не очень приятно

делаете суппорт либу для спарка на основе java API?

источник

11:51пожаловаться #14

Vitaly Khudobakhshov in Moscow Spark

делаете суппорт либу для спарка на основе java API?

Не, мы делаем нормальный Kotlin API для Dataset и spark-shell для Kotlin, мы планируем сделать PR в Spark в некоторой перспективе.

источник

11:52пожаловаться #15

Mi in Moscow Spark

это еще круче

источник

11:55пожаловаться #16

Salam andra in Moscow Spark

Топчик, жаве будет плохо

источник

11:56пожаловаться #17

Vitaly Khudobakhshov in Moscow Spark

Какие-то вещи например уже работают в Zeppelin 0.9, там уже есть наш PR, но реально там работать можно только с DataFrame и RDD, что маловато по меркам 2020 =)

источник

11:57пожаловаться #18

Andrey Smirnov in Moscow Spark

интересно, а как часто используются Dataset, по моей практике, если наберется 5%, то уже хорошо, rdd чаще используется

источник

12:00пожаловаться #19

Maksim in Moscow Spark

А что кроме датафреймов и rdd нынче модно в 2020?)

источник

12:01пожаловаться #20