K
а кто нибудь форкал себе спарк в гитлаб и заморачивался с CI ?
Size: a a a
2020 November 09
GP
а кто нибудь форкал себе спарк в гитлаб и заморачивался с CI ?
мы в дженкинс было дело форкали
GP
а в чем косяк? возьми их конфиг +- из открытой репы
GP
или не работает у тебя?
K
Не, я ток начинаю
K
прост мне файл придется добавить свой в репо, думаю как правильно ветвиться
t
Никто с таким не встречался? Как это фиксить? Пытаюсь на драйвере такое сделать:
val encoder
падает с java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
val encoder
= RowEncoder(someSchema)
val row = encoder.fromRow(someInternalRow)падает с java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
t
@pomadchin Гриииш? ^
GP
@pomadchin Гриииш? ^
а можешь воспроихводимый пример намутить?)
GP
а то чет вазе непонятно)
2020 November 10
SI
Привет
А кто-то сталкивался с такой жестью в stderr экзекьютеров?
А кто-то сталкивался с такой жестью в stderr экзекьютеров?
20/11/10 07:47:44 INFO CoarseGrainedExecutorBackend: eagerFSInit: Eagerly initialized FileSystem at s3://does/not/exist
SI
Возникло на версии EMR 5.29
SI
Очень мешает жить, так как мы де факто не получаем истинный бакет при создании кастомного CredentialsProvider
t
@pomadchin
import
import
object Foo {
val df
}
[info] java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
[info] createexternalrow(getcolumnbyordinal(0, LongType), StructField(id,LongType,false))
[info] at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder.fromRow(ExpressionEncoder.scala:305)
import
org.apache.spark.sql.catalyst.InternalRow
import org.apache.spark.sql.catalyst.encoders.{ExpressionEncoder, RowEncoder}import
org.apache.spark.sql.types.{StructType}object Foo {
val df
: Dataset[java.lang.Long] = spark.range(10)
val schema: StructType = df.schema
val internalRow: InternalRow = df.queryExecution.toRdd.first
val encoder: ExpressionEncoder[Row] = RowEncoder(schema)
val result: Row = encoder.fromRow(internalRow)}
[info] java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
[info] createexternalrow(getcolumnbyordinal(0, LongType), StructField(id,LongType,false))
[info] at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder.fromRow(ExpressionEncoder.scala:305)
t
Примерно так
t
Ну а вообще я хочу из InternalRow получить Row, находясь на драйвере
GP
@pomadchin
import
import
object Foo {
val df
}
[info] java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
[info] createexternalrow(getcolumnbyordinal(0, LongType), StructField(id,LongType,false))
[info] at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder.fromRow(ExpressionEncoder.scala:305)
import
org.apache.spark.sql.catalyst.InternalRow
import org.apache.spark.sql.catalyst.encoders.{ExpressionEncoder, RowEncoder}import
org.apache.spark.sql.types.{StructType}object Foo {
val df
: Dataset[java.lang.Long] = spark.range(10)
val schema: StructType = df.schema
val internalRow: InternalRow = df.queryExecution.toRdd.first
val encoder: ExpressionEncoder[Row] = RowEncoder(schema)
val result: Row = encoder.fromRow(internalRow)}
[info] java.lang.RuntimeException: Error while decoding: java.lang.UnsupportedOperationException: Cannot evaluate expression: getcolumnbyordinal(0, LongType)
[info] createexternalrow(getcolumnbyordinal(0, LongType), StructField(id,LongType,false))
[info] at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder.fromRow(ExpressionEncoder.scala:305)
мне кажется надо забиндить анкодер на стракт
GP
на схему т.е. у тебя
GP
RowEncoder(schema) ~> RowEncoder(schema).resolveAndBind()GP
замени и мож заработает