GP
такое себе)
Size: a a a
2020 April 04
ПФ
у меня 16 потоков и 16 гектар памяти, пока уменя не собирается спарк — оно норм работает. А котлин, к счастью, компилится намного быстрее скалы
GP
вот что-то такое давай
GP
import org.apache.spark.sql.catalyst.encoders.ExpressionEncoder
import org.apache.spark.sql.catalyst.expressions._
import org.apache.spark.sql.catalyst.InternalRow
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.catalyst.ScalaReflection
val encoder = ExpressionEncoder[Arity1]
val attrs = ScalaReflection.schemaFor[Arity1].dataType.asInstanceOf[StructType].map(f => AttributeReference(f.name, f.dataType, f.nullable, f.metadata)())
val bound = encoder.resolveAndBind(attrs)
bound.fromRow(InternalRow(1.asInstanceOf[java.lang.Integer]))
try {
bound.fromRow(InternalRow(null.asInstanceOf[java.lang.Integer]))
} catch {
case e => println(e.getMessage)
}
GP
у меня например это не кидает
GP
по понятным причинам)
GP
только я не знаю что у тебя вмето
ScalaReflection.schemaFor[Arity1].dataType.asInstanceOf[StructType].map(f => AttributeReference(f.name, f.dataType, f.nullable, f.metadata)())GP
можно руками схему влепить
ПФ
Я не понял :(
GP
типа
val attrs: Seq[Attribute] = 'value.int :: Nil
GP
тут короче идея проверить что анкодер сгенерится, тип схемы нормально к нему забиндится
и руками интернал роу покидать в него
и руками интернал роу покидать в него
ПФ
ну ты понимаешь же что я из котлина зову, да?
GP
ПФ
только н не анкодер, а, наоборот. энкодер
GP
bound.fromRow(InternalRow(1.asInstanceOf[java.lang.Integer])) должен вернуть нормальный Arity1 (т.е. декодит из интернал роу)GP
типа
val attrs: Seq[Attribute] = 'value.int :: Nil
val attrs = List(AttributeReference("value”, IntegerType, nullable = true)())ПФ
так, кажись примерно понял
GP
и тут кстати какраз вот эта особенность боксинга интов всплывает
ПФ
Ну позвать прям schemaFor я из котлина не могу )
ПФ
У меня нет тайпов и скаловых тайптегов, думаю