KM
тогда у меня другой вопрос, с чем может быть связано
Size: a a a
2018 February 26
GP
а как ты запускаешь приложение?
KM
из
/usr/hdp/current/spark2-client :/bin/spark-submit --class «MyApp» --master yarn --deploy-mode client --driver-memory 4g --executor-memory 2g jars/MyApp.jarKS
KS
попробуйте убрать внутри приложения setMaster("yarn-client"), а в сабмите прописать —master yarn —deploy-mode client
GP
ну и пользоваться способом @v_o_chesnokov показал для указания параметров по муолчанию из кода
KM
попробуйте убрать внутри приложения setMaster("yarn-client"), а в сабмите прописать —master yarn —deploy-mode client
так и стоит. Попробовал с другого хоста запустить, он фейлится на
.map( v => my_case_class_outside_main(v(0), v(1), v.lift(4).getOrElse(null))).toDFGP
а шелл (кластерный конечно, не локальный для ноды) работает в ярн моде и не ярн моде?
KM
Zeppelin точно работает
GP
а тачка с которой запускаешь в одной сети с класетром?
KM
Да
GP
а с какой ошибкой валится
.map( v => my_case_class_outside_main(v(0), v(1), v.lift(4).getOrElse(null))).toDF?GP
все же проверь шел с переданным параметром мастера твоего кластера
KM
а с какой ошибкой валится
.map( v => my_case_class_outside_main(v(0), v(1), v.lift(4).getOrElse(null))).toDF?Exception in thread "main" java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaUniverse$JavaMirror;
at MyApp$.main(MyApp.scala:42)
at MyApp(MyApp.scala)
KM
val some_var_as_df = some_var_not_as_df.map( v => v.split(";")).map( v => my_class_case_defined_outside_main(v(0), v(1).toLong, v(2).toLong, v(3).toLong, v.lift(4).getOrElse(null))).toDFKM
вот так
GP
а какая версия скалы у спарка, твоего приложения, и джавы на машине с которой запускашеь и на кластере
какая версия спарка?
какая версия спарка?
GP
ну и джарник спарка конечно в твоем приложении какой версии
KM
а какая версия скалы у спарка, твоего приложения, и джавы на машине с которой запускашеь и на кластере
какая версия спарка?
какая версия спарка?
18/02/26 17:41:03 INFO SparkContext: Running Spark version 2.1.1.2.6.1.0-129