N
Попасть, там есть пример на скале от меня
а где там?
Size: a a a
2020 June 01
N
Если вот тут val ds = Seq(1.asInstanceOf[Integer], null.asInstanceOf[Integer]).toDS() , то тут нет энкодера для кейс класса. тут есть энкодер implicit def newBoxedIntEncoder: Encoder[java.lang.Integer] = Encoders.INT
ПФ
Nikolay
Если вот тут val ds = Seq(1.asInstanceOf[Integer], null.asInstanceOf[Integer]).toDS() , то тут нет энкодера для кейс класса. тут есть энкодер implicit def newBoxedIntEncoder: Encoder[java.lang.Integer] = Encoders.INT
Правильно, но это вполне стандартный путь
ПФ
Ты читаешь откуда-то стрим значений и потом, например, группируешь
N
они все стандартые. есть просто разные пути . один для кейс классов, а другой для других типов.
N
а для просто классов нет пути "стандартного" . Вот попробуй скомпилить import spark.implicits._
class Pair(val a:Int,val b:Int)
spark.sqlContext.createDataset(Seq(new Pair(1,1))).show()
class Pair(val a:Int,val b:Int)
spark.sqlContext.createDataset(Seq(new Pair(1,1))).show()
N
Под стандартным я понимаю путь, который появляется после добавления уже готовых имплиситов из SQLImplicits
N
Интересно, что spark.sql.codegen.wholeStage не влияет на генерацию кода для декодеров. Он действует только для WSCG
ПФ
Nikolay
они все стандартые. есть просто разные пути . один для кейс классов, а другой для других типов.
Сорри, я триггернулся на
"Стандартными" энкодерами в этот кусок кода не попасть потому что Encoders.INT вполне себе стандартныйПФ
Nikolay
Интересно, что spark.sql.codegen.wholeStage не влияет на генерацию кода для декодеров. Он действует только для WSCG
тут ты имеешь в виду десериалайзеров?
ПФ
А то энкодер — это пара сериалайзер-десериалайзер вроде бы
ПФ
Кстати, фикс этой баги сейчас на все спарки раскатают, начиная с 2.0.x вроде бы
N
тут ты имеешь в виду десериалайзеров?
и сериализацию тоже. он же генерит код для того, чтобы сериализоват значение типа T. генерит всегда не взирая на значения этог параметра.
ПФ
Nikolay
и сериализацию тоже. он же генерит код для того, чтобы сериализоват значение типа T. генерит всегда не взирая на значения этог параметра.
Как-то влияет и я в печали что нельзя посмотреть сгенерированный код при выключенном wholestage'е
ПФ
(или я не нашёл как)
N
мы наверное про разные сгерерированные кода похоже говорим. ты наверное хочешь увидеть код сериалиазции и десиреализации в WSCG. попробуй включить DEBUG с выключенным WSCG
ПФ
О, блин, хорошая идея
ПФ
Теперь уже поздно, а если бы сообразил сам пока разбирался — может сам бы и причину баги нашёл
ИК
Подскажите, какие настройки конфигурации надо указать в spark 2.2.0, чтобы прочитать вложенные директории в hdfs. Названия директорий не в формате партиций hive, это просто папки hdfs. Таблицы hive над этой структурой нет, метастор не содержит никакой информации.
Пример:
/docs/a-f/
/docs/g-o/
/docs/p-z/
На входе только папка /docs/
Пример:
/docs/a-f/
/docs/g-o/
/docs/p-z/
На входе только папка /docs/