Телеграмм чат группы moscowspark страница 157

Size: a a a

Moscow Spark

2019 August 14

при создании спарк-ссессии вот так желаю: spark = SparkSession\
.builder\
.appName("PythonPi")\
.config("spark.sql.catalogImplementation","hive")\
.getOrCreate()

попробуйте еще функцию enableHiveSupport()

источник

18:11пожаловаться #1

KrivdaTheTriewe in Moscow Spark

при создании серссии

источник

18:11пожаловаться #2

ДА

Джумурат Александр... in Moscow Spark

чёт не помогло

источник

18:44пожаловаться #3

ДА

Джумурат Александр... in Moscow Spark

пытаюсь присунуть hyve-site.xml в spark-submit

--files local:///opt/spark/conf/hive-site.xml

источник

18:45пожаловаться #4

ДА

Джумурат Александр... in Moscow Spark

но в логах кубера
java.io.FileNotFoundException: File file:/opt/spark/conf/hive-site.xml does not exist

источник

18:45пожаловаться #5

ДА

Джумурат Александр... in Moscow Spark

но если зайти в онтейнер с докером, то файл на месте

bash-4.4# ls /opt/spark/conf/hive-site.xml
/opt/spark/conf/hive-site.xml

источник

18:47пожаловаться #6

ТС

Тимофей Смирнов... in Moscow Spark

Джумурат Александр

но если зайти в онтейнер с докером, то файл на месте

bash-4.4# ls /opt/spark/conf/hive-site.xml
/opt/spark/conf/hive-site.xml

я тоже заходил в докер контейнер и файл был на месте, а когда делал в entrypoint

tree /opt/spark

файлов не было в /opt/spark/conf

источник

19:06пожаловаться #7

Dmitry Buslov in Moscow Spark

Если приболел и не получается завтра быть на митапе - можно кому-то отдать свое место?

источник

19:11пожаловаться #8

АЖ

Андрей Жуков... in Moscow Spark

В прошлый раз, помнится, выдавали фиолетовые фенечки, по которым ты пролетаешь мимо охраны. У меня с митапов этих фенечек уже три
Возможно, там будут все еще фиолетовые фенечки 🙂

источник

19:28пожаловаться #9

ДА

Джумурат Александр... in Moscow Spark

Тимофей Смирнов

У меня он папку conf удалял почему-то, я их закинул в другую папку и подключил в entrypoint в Docker

А что значит "подключил в entrypoint" ?

источник

19:39пожаловаться #10

Eugene in Moscow Spark

Джумурат Александр

А что значит "подключил в entrypoint" ?

Видимо mount он имеет ввиду.

источник

19:41пожаловаться #11

ТС

Тимофей Смирнов... in Moscow Spark

Джумурат Александр

А что значит "подключил в entrypoint" ?

у меня не xml файлы, мне надо было spark-env.sh подключить

источник

19:41пожаловаться #12

Pavel Klemenkov in Moscow Spark

Dmitry Buslov

Если приболел и не получается завтра быть на митапе - можно кому-то отдать свое место?

Все кто хотел, но не смог зарегаться уже решили свои проблемы) Расслабься)

источник

19:42пожаловаться #13

Eugene in Moscow Spark

Тимофей Смирнов

у меня не xml файлы, мне надо было spark-env.sh подключить

Тимофей, а Hive тоже в кубере?

источник

19:44пожаловаться #14

Constantine in Moscow Spark

🤔 не все 😊

источник

19:44пожаловаться #15

ТС

Тимофей Смирнов... in Moscow Spark

Eugene

Тимофей, а Hive тоже в кубере?

у меня нет Hive, но я про то что у меня чистилась папка /opt/spark/conf хотя в docker она была с нужными файлами

источник

19:46пожаловаться #16

Eugene in Moscow Spark

Джумурат Александр

Пытаюсь запустить PySpark 2.4 в кубере. Проблема в том, что не могу подключиться к Hive
Добавил в контейнер конфиги

bash-4.4# ls /opt/spark/conf
core-site.xml hive-site.xml yarn-site.xml

Но в логах кубера вижу "Table or view not found..."

какие нужны настройки, кроме закинутый в контейнер XML конфигов ?

Джумурат, у тебя Хайв в Кубере при этом?

источник

19:47пожаловаться #17

Eugene in Moscow Spark

Если нет, зайди в DNS troubleshooting доку от Кубера. Там есть строка, как проверить ресолв хостов из кубер сетки. Проверь, резолвится ли Хавй. Если Хайв в Кубере, у тебя упал Kube DNS скорее всего. Лезь в его логи и смотри, что не так.

источник

19:50пожаловаться #18

Eugene in Moscow Spark

Третий момент редкий, но бывает. Если у вас корпоративный фаервол, и поды Кубера настроены на него, как прокси, нода с Хайв как внутри Кубера так и снаружи, может быть не добавлена в список исключений прокси.)

источник

19:53пожаловаться #19

Eugene in Moscow Spark

Ну и второй редкий кейс, может быть не установлена виртуальная сетка в принципе. Можно прочитать про flannel или calico ор что-то более хипстерское.

источник

19:58пожаловаться #20