Телеграмм чат группы moscowspark страница 241

13:59пожаловаться #1

SK

Grigory Pomadchin

может у тебя спарк 3? я ссылку на гит дал тебе и спарк 2.4

ааа это для 3.0 наверное блин, спасибо

14:00пожаловаться #2

SK

Mikhail Epikhin

а что за ошибки?

я незнаю что я сделал но у меня сейчас собралось, я сейчас раскатываю на тестовом кластере что бы понять что вышло😂

14:00пожаловаться #3

GP

Grigory Pomadchin in Moscow Spark

Mikhail Epikhin

а что за ошибки?

Видимо профиль не может быть активирован

14:00пожаловаться #4

SK

Grigory Pomadchin

Видимо профиль не может быть активирован

я хотел закинуть их как раз, и запустил сборку

14:01пожаловаться #5

SK

я хотел закинуть их как раз, и запустил сборку

😅а оно собралось

14:01пожаловаться #6

SK

Вопрос, если я не указываю хадуп и допустим хочу собрать только с yarn и hive, он соберет? или ему в любом случаее в такой конфигурации нужен hadoop? и он подставит 2.6.4?(он так при сборке покрайне мерее пишет в SPARK_HADOOP_VERSION)

14:27пожаловаться #7

GP

Grigory Pomadchin in Moscow Spark

Вопрос, если я не указываю хадуп и допустим хочу собрать только с yarn и hive, он соберет? или ему в любом случаее в такой конфигурации нужен hadoop? и он подставит 2.6.4?(он так при сборке покрайне мерее пишет в SPARK_HADOOP_VERSION)

Соберёт без хадуповую; чистая чтоли зовётся; на сайте с дистрибутивами посмотри

14:42пожаловаться #8

GP

Grigory Pomadchin in Moscow Spark

Вопрос, если я не указываю хадуп и допустим хочу собрать только с yarn и hive, он соберет? или ему в любом случаее в такой конфигурации нужен hadoop? и он подставит 2.6.4?(он так при сборке покрайне мерее пишет в SPARK_HADOOP_VERSION)

Не помню вообще говоря) вот расскажешь нам

14:43пожаловаться #9

SK

Grigory Pomadchin

Не помню вообще говоря) вот расскажешь нам

Меня при сборке смущает появления переменной окружения, проверю, чуть позже отпишу

14:43пожаловаться #10

SK

и пока собирается, вопрос про Spark Thrift Server, у него есть свой метостор в отрыве от Hive? или что бы он имел персистентность нужно его через Hive цеплять?

15:39пожаловаться #11

ЕГ

Евгений Глотов... in Moscow Spark

и пока собирается, вопрос про Spark Thrift Server, у него есть свой метостор в отрыве от Hive? или что бы он имел персистентность нужно его через Hive цеплять?

Есть у спарка свой метастор, на базе апач дерби

15:57пожаловаться #12

SK

а как его использовать?

15:57пожаловаться #13

SK

.config("spark.sql.warehouse.dir", warehouseLocation)

15:59пожаловаться #14

SK

?

15:59пожаловаться #15

ЕГ

Евгений Глотов... in Moscow Spark

jaceklaskowski.gitbooks.io

а как его использовать?

Как-то вот так:
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hive-metastore.html#javax.jdo.option

Hive Metastore · The Internals of Spark SQL

15:59пожаловаться #16

ЕГ

Евгений Глотов... in Moscow Spark

.config("spark.sql.warehouse.dir", warehouseLocation)

Не, это только папка в хдфс, где лежат таблицы

15:59пожаловаться #17

SK

jaceklaskowski.gitbooks.io

Евгений Глотов

Как-то вот так:
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hive-metastore.html#javax.jdo.option

Hive Metastore · The Internals of Spark SQL

спасибо почитаю

15:59пожаловаться #18

ЕГ

Евгений Глотов... in Moscow Spark

Там чёт сложно, я сам не осилил почитать и проверить, работает ли там как надо, некогда этим щас заниматься😆

16:00пожаловаться #19

ЕГ

Евгений Глотов... in Moscow Spark

Так что обратная связь приветствуется)