KM
посмотрим
val some_var_as_df = some_var_not_as_df.map( v => v.split(";")).map( v => my_class_case_defined_outside_main(v(0), v(1).toLong, v(2).toLong, v(3).toLong, v.lift(4).getOrElse(null))).toDFSize: a a a
2018 February 26
KM
Это может быть из-за импортов кривых
java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror(Ljava/lang/ClassLoader;)Lscala/reflect/api/JavaMirrors$JavaMirror; ?KM
больше внятных ошибок нет.
jar-ник на 168 мегабайт
jar-ник на 168 мегабайт
GP
версия джавы совпадает с оверсией джавы на кластере?
KM
$ java -version
openjdk version "1.8.0_151"
OpenJDK Runtime Environment (build 1.8.0_151-b12)
OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)
vs
$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
Только не говорите, что
GP
а когда спарк шелл запускал какая там версия скалы была?
GP
ну прост такая ошибка обычно вылезает когда 2.10 с 2.11 миксуют
GP
GP
^ как пример
KM
а когда спарк шелл запускал какая там версия скалы была?
build собрал в директорию 2.10
GP
ну вот и ответ
GP
а билд сбт какой?
GP
ну странно
GP
что туда
GP
видимо или не тот билд сбт или ты не релоаднул процесс чтоб тот подвхатил изменения
KM
я сейчас на мастере поставил скалу
KM
попробуй на нём собрать
KM
видимо или не тот билд сбт или ты не релоаднул процесс чтоб тот подвхатил изменения
а какой релоадить?
KM
попробуй почисть билд сбт
https://pastebin.com/CGWtT2hG
и провайдед скоуп я убрал, что бы если что видеть все косяки либ
https://pastebin.com/CGWtT2hG
и провайдед скоуп я убрал, что бы если что видеть все косяки либ
Вот этот взял
GP
ну или ctrl + c и сбт заново
ну или reload
ну или reload