GP
2.1.1.2.6.1.0
Size: a a a
2018 February 28
KM
используй версию прям как у них и все
а как её закинуть в build.sbt ?
ДШ
вот я слепец и правда хдп ж
HDP тоже извращнулись с перекомпиляцией спарка?
GP
видимо да, я т на амазоне
GP
но короче вот так, видимо и правда компилят все свое
попробовать можно - думаю все решится
попробовать можно - думаю все решится
KM
но короче вот так, видимо и правда компилят все свое
попробовать можно - думаю все решится
попробовать можно - думаю все решится
блин, у меня стоял bintray
GP
"2.1.1.2.6.1.0-129" вместо твоей "2.1.1" просто тыкай
GP
и ресолвер
K
но короче вот так, видимо и правда компилят все свое
попробовать можно - думаю все решится
попробовать можно - думаю все решится
Может быть
KM
не помогает. Теперь ловлю ошибку None.get на строчке, где все ок с точки зрения Zeppelin:
https://pastebin.com/f3LcwLdm
https://pastebin.com/f3LcwLdm
KM
Caused by: java.lang.IllegalStateException: Library directory '/hadoop/yarn/local/usercache/spark/appcache/application_1519654131810_0049/container_e11_1519654131810_0049_02_000003/assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
KM
вот это может влиять?
KM
build.sbt:
resolvers += "Spark Packages" at "http://repo.hortonworks.com/content/repositories/releases/"
//Spark dependencies
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-sql_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-mllib_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-hive_2.11" % "2.1.1.2.6.1.0-129"
)
resolvers += "Spark Packages" at "http://repo.hortonworks.com/content/repositories/releases/"
//Spark dependencies
libraryDependencies ++= Seq(
"org.apache.spark" % "spark-core_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-sql_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-mllib_2.11" % "2.1.1.2.6.1.0-129",
"org.apache.spark" % "spark-hive_2.11" % "2.1.1.2.6.1.0-129"
)
KM
[info] [SUCCESSFUL ] org.apache.spark#spark-core_2.11;2.1.1.2.6.1.0-129!spark-core_2.11.jar (9212ms)
[info] downloading http://repo.hortonworks.com/content/repositories/releases/org/apache/spark/spark-sql_2.11/2.1.1.2.6.1.0-129/spark-sql_2.11-2.1.1.2.6.1.0-129.jar ...
[info] [SUCCESSFUL ] org.apache.spark#spark-sql_2.11;2.1.1.2.6.1.0-129!spar
KM
и они точно тянутся из репы
GP
может это обычное сообщение об окочании работы? просто лог после килла, обычно просто это все чистится спарком
попробуй забери на драйвер результат и распечатай
попробуй забери на драйвер результат и распечатай
KM
может это обычное сообщение об окочании работы? просто лог после килла, обычно просто это все чистится спарком
попробуй забери на драйвер результат и распечатай
попробуй забери на драйвер результат и распечатай