Телеграмм чат группы moscowspark страница 17

после того как на втором хосте сделал export Major version

17:44пожаловаться #1

теперь также ругается на `Caused by: java.lang.IllegalStateException: Library directory '/hadoop/yarn/local/usercache/spark/appcache/application_1519654131810_0014/container_e11_1519654131810_0014_01_000003/assembly/targe
t/scala-2.11/jars' does not exist; make sure Spark is built.`

17:44пожаловаться #2

Kirill Malev

18/02/26 17:41:03 INFO SparkContext: Running Spark version 2.1.1.2.6.1.0-129

а скалы и джавы?

17:50пожаловаться #3

и джарника депенся в зависимости

17:50пожаловаться #4

      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.1.1.2.6.1.0-129
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112)

17:52пожаловаться #5

$ cat build.sbt
name := «MyApp»

version := "1.0"

scalaVersion := "2.12.2»

17:53пожаловаться #6

воу

17:56пожаловаться #7

пересобрал

17:56пожаловаться #8

Kirill Malev

$ cat build.sbt
name := «MyApp»

version := "1.0"

scalaVersion := "2.12.2»

мне интересно как это вообще собиралось в джарник?

17:57пожаловаться #9

Grigory Pomadchin

мне интересно как это вообще собиралось в джарник?

sbt assembly

17:57пожаловаться #10

нет 2.12 спарк кора: https://mvnrepository.com/artifact/org.apache.spark/spark-core

17:58пожаловаться #11

переставил скалу 2.11, пересобрал, запустил

18:01пожаловаться #12

Даже ошибка с None.get и с библиотекой

18:02пожаловаться #13

а какой билд сбт?

18:06пожаловаться #14

а что там смотреть?

18:08пожаловаться #15

sticker.webp

(36.86 Кб)

18:08пожаловаться #16

[info] 0.13.15

18:09пожаловаться #17

._.

ну сам файл которым собирать

у тебя скала была 2.12, как ты говоришь

но так тяжело собрать просто в лоб, т.к. такой джарник не запаблишен в репе

18:12пожаловаться #18

ну полный cat build.sbt твой, исключая какие-то приватные данные

18:12пожаловаться #19

$ cat build.sbt name := "MyApp" version := "1.0" scalaVersion := "2.11.8" - Pastebin.com

Grigory Pomadchin

я уже переставил Скалу же 🙂

https://pastebin.com/4YyxiTfk

Pastebin