Телеграмм чат группы moscowspark страница 20

измнения в билд сбт не подхватываются автоматом, надо явно подхватывать руками

19:49пожаловаться #1

java.io.InvalidClassException: org.apache.spark.sql.execution.DeserializeToObjectExec; local class incompatible: stream clas
sdesc serialVersionUID = -3336953602090947729, local class serialVersionUID = 2670198363192691258
        at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:616)
        at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1630)

20:08пожаловаться #2

гдето либ версий мисматч

20:15пожаловаться #3

попробуй спарк кор провайдедом пометить

20:15пожаловаться #4

короче суть что версии либ не совпадают

20:18пожаловаться #5

Спс, гляну

20:22пожаловаться #6

2018 February 28

Spark java.io.InvalidClassException: org.apache.spark.unsafe.types.UTF8String; local class incompatible

Привет, я до сих пор не запустил этот джарник.

$SPARK_HOME:

jars/spark-core_2.11-2.1.1.2.6.1.0-129.jar

Поэтому подправил build.sbt как советуют вот тут: https://stackoverflow.com/questions/44901644/spark-java-io-invalidclassexception-org-apache-spark-unsafe-types-utf8string-l?rq=1

build.sbt:

//Spark dependencies
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core_2.11" % "2.1.1",
  "org.apache.spark" % "spark-sql_2.11" % "2.1.1",
  "org.apache.spark" % "spark-mllib_2.11" % "2.1.1",
  "org.apache.spark" % "spark-hive_2.11" % "2.1.1"
)

Помимо этого проверил всё что можно, единственное различие в версиях Джавы:

1.8.0_112 @ Spark

"1.8.0_151" @ Scalac

Попробовал также запустить в --deploy-mode cluster тот же джарник, он прекращает выполнение после .collect()-а в середине кода.

Pastebin с выводами версий и ошибки java.io.InvalidClassException: org.apache.spark.sql.execution.DeserializeToObjectExec; local class incompatible: stream

https://pastebin.com/8yP8mSaz

Stackoverflow

I'm attempting to run my Spark applicaiton on a remote cluster and I'm getting serialization errors. The Scala and Spark version are the same. I'm stuck at this point.

spark-shell -version on the

13:56пожаловаться #7

что ещё можно проверить?

13:56пожаловаться #8

ДШ

спарк-субмит на сервере или локально выполняешь?

13:59пожаловаться #9

ДШ

спарк чей? стоковый или клаудера? спарк-субмит - стоковый или клаудера?

13:59пожаловаться #10

ДШ

у клаудеры есть такая фишка, что они перекомпилировали спарк, и изза этого поменялся serialVersionUID.
поэтому если у тебя на сервере клаудера, а запускаешь локальный стоковый спарк - то будет подобная ошибка

14:00пожаловаться #11

HDP

14:00пожаловаться #12

/hadoop/yarn/local/usercache/spark/appcache/application_1519654131810_0044/container_e11_1519654131810_0044_01_000001/__spark_libs__/spark-sql_2.11-2.1.1.2.6.1.0-129.jar

14:00пожаловаться #13

вот в System Classpath даже есть

14:00пожаловаться #14

ДШ

"org.apache.spark" % "spark-sql_2.11" % "2.1.1",
и
spark_libs/spark-sql_2.11-2.1.1.2.6.1.0-129.jar

соответствуют между собой?

14:00пожаловаться #15