SE
Друзья мои, планируем Moscow Spark #10 в онлайне. Поэтому прошу всех потенциальных докладчиков ещё раз стукнуться мне в личку.
Павел, а на какие даты планируете? Я бы ещё хотел уточнить , есть ли записи с предыдущих встреч?
Size: a a a
2020 September 04
PK
Павел, а на какие даты планируете? Я бы ещё хотел уточнить , есть ли записи с предыдущих встреч?
Конец сентября-начало октября
AS
Друзья мои, планируем Moscow Spark #10 в онлайне. Поэтому прошу всех потенциальных докладчиков ещё раз стукнуться мне в личку.
Вы всё ещё онлайн? Коллеги из MPC говорят, что площадки уже готовы к оффлайн мероприятиям с октября.
PK
Вы всё ещё онлайн? Коллеги из MPC говорят, что площадки уже готовы к оффлайн мероприятиям с октября.
Я не готов к оффлайн )
AS
Не буду переубеждать, но по бирмитапам скажу, что народ ОЧЕНЬ хочет оффлайн мероприятий (;
AS
бирмитапы и завтраки мы уже два месяца в оффлайне проводим.
PK
Хочу онлайн попробовать, прикольно же)
PK
Кто сможет годный обзор на третий спарк сделать?
PK
Кто активно участвовал в саммите? Сделаете обзор докладов?
2020 September 07
SM
Всем привет
ну в общем у меня вот такое
никто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
ну в общем у меня вот такое
No Encoder found for java.util.UUIDникто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
АР
Всем привет
ну в общем у меня вот такое
никто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
ну в общем у меня вот такое
No Encoder found for java.util.UUIDникто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
SM
Спасибо Это уже находил
Тут фигня какая-то
Тут фигня какая-то
import spark.implicits._ мне не помогSM
Я пытаюсь сделать что-то типо
case class Car(id: UUID, name: String)
spark.emptyDataset[Car]
SM
Всем привет
ну в общем у меня вот такое
никто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
ну в общем у меня вот такое
No Encoder found for java.util.UUIDникто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
DONE
В общем сделал через Wrap
Как описано здесь
https://stackoverflow.com/questions/36648128/how-to-store-custom-objects-in-dataset
В общем сделал через Wrap
Как описано здесь
https://stackoverflow.com/questions/36648128/how-to-store-custom-objects-in-dataset
SM
Всем привет
ну в общем у меня вот такое
никто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
ну в общем у меня вот такое
No Encoder found for java.util.UUIDникто не подскажет как написать custom'ный encoder?
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
case class MyObj(val i: Int, val u: java.util.UUID, val s: Set[String])
// alias for the type to convert to and from
type MyObjEncoded = (Int, String, Set[String])
// implicit conversions
implicit def toEncoded(o: MyObj): MyObjEncoded = (o.i, o.u.toString, o.s)
implicit def fromEncoded(e: MyObjEncoded): MyObj = MyObj(e._1, java.util.UUID.fromString(e._2), e._3)
val d = spark.createDataset(Seq[MyObjEncoded](
new MyObj(1, java.util.UUID.randomUUID, Set("foo")),
new MyObj(2, java.util.UUID.randomUUID, Set("bar"))
)).toDF("i","u","s").as[MyObjEncoded]
DZ
мама мия
GP
жоско
DZ
выведите свой кодек да и все
GP
лучше уж руками для ууида написать кодек
DZ