В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2018 July 24

ЕГ

Евгений Глотов... in Moscow Spark
Pavel Klemenkov
Вопросик появился. Надо бы почитать данные из внешнего хайва спарком. Какие есть варианты? Пока пробовал jdbc к hiveserver, съема вычитывается, но данных нет. Потенциально проблема с тем, что таблицы партиционированные, а как это указать непонятно
Есть баг по этому поводу - там названия колонок в неправильных кавычках, кто-то корячил свой dialect
источник
18:19пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
https://medium.com/@viirya/custom-jdbc-dialect-for-hive-5dbb694cc2bd
Medium
Custom JDBC dialect for Hive
Recently I’ve answered a JIRA ticket SPARK-22113. It is reported an issue when using JDBC to connect Hive in SparkSQL.
источник
18:21пожаловаться#2

ЕГ

Евгений Глотов... in Moscow Spark
Меня пробесило вот это "connecting to hive via jdbc is not a recommended way"
источник
18:22пожаловаться#3

ЕГ

Евгений Глотов... in Moscow Spark
Гении, блин, а как ещё подконнектиться, если у нас хайв на другом кластере
источник
18:22пожаловаться#4

FL

Fedor Lavrentyev in Moscow Spark
Читать спарком из соседнего хайва - это какой-то жыр
источник
18:23пожаловаться#5

ЕГ

Евгений Глотов... in Moscow Spark
Fedor Lavrentyev
Читать спарком из соседнего хайва - это какой-то жыр
А если не соседний, на чужом хдфс, на чужом кластере? Да, можно напрямую залезть в чужой хдфс, но метаданные откуда взять?)
источник
18:24пожаловаться#6

FL

Fedor Lavrentyev in Moscow Spark
Ну если месье такой гурман, то можешь hive-site подсунуть с того кластера.
источник
18:26пожаловаться#7

ЕГ

Евгений Глотов... in Moscow Spark
Да, хороший способ, если мы запускаем спарк-сабмит)
источник
18:27пожаловаться#8

ЕГ

Евгений Глотов... in Moscow Spark
А если мы уже в сессии на своём кластере? Короче, в любом случае, костылище)
источник
18:28пожаловаться#9

t

tenKe in Moscow Spark
Pavel Klemenkov
Вопросик появился. Надо бы почитать данные из внешнего хайва спарком. Какие есть варианты? Пока пробовал jdbc к hiveserver, съема вычитывается, но данных нет. Потенциально проблема с тем, что таблицы партиционированные, а как это указать непонятно
ну как вариант spark jdbc на кластере с хайвом?)
источник
18:30пожаловаться#10

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
А если мы уже в сессии на своём кластере? Короче, в любом случае, костылище)
Да +1, все как Евгений описывает
источник
18:32пожаловаться#11

ЕГ

Евгений Глотов... in Moscow Spark
Можно из спарк трифт сервера брать результат show create table, брать оттуда путь к хдфс и формат и делать spark.read.format("format").load("hdfs")
источник
18:34пожаловаться#12

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
Есть баг по этому поводу - там названия колонок в неправильных кавычках, кто-то корячил свой dialect
Ого, спасибо!
источник
18:35пожаловаться#13

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
Можно из спарк трифт сервера брать результат show create table, брать оттуда путь к хдфс и формат и делать spark.read.format("format").load("hdfs")
Вообще шняга )
источник
18:35пожаловаться#14

ЕГ

Евгений Глотов... in Moscow Spark
Чаще всего в /apps/hive/warehouse/<db_name>.db/<table_name>
источник
18:36пожаловаться#15

ЕГ

Евгений Глотов... in Moscow Spark
Это если мэнэджед таблица
источник
18:36пожаловаться#16

ЕГ

Евгений Глотов... in Moscow Spark
А можно каким-нибудь пайхайвом подключиться, без трифт сервера обойтись, всё равно шоу криэйт одну запись выдаёт
источник
18:37пожаловаться#17
2018 July 25

ЛР

Лев Рагулин... in Moscow Spark
Pavel Klemenkov
Вопросик появился. Надо бы почитать данные из внешнего хайва спарком. Какие есть варианты? Пока пробовал jdbc к hiveserver, съема вычитывается, но данных нет. Потенциально проблема с тем, что таблицы партиционированные, а как это указать непонятно
А почему просто hive-ом воспользоваться нельзя ? Метадата сервер не доступен ? К HDFS где лежит таблица есть доступ? Прямо оттуда Файлы брать можно?
источник
08:03пожаловаться#18

PK

Pavel Klemenkov in Moscow Spark
Лев Рагулин
А почему просто hive-ом воспользоваться нельзя ? Метадата сервер не доступен ? К HDFS где лежит таблица есть доступ? Прямо оттуда Файлы брать можно?
Потому что логика на спарке
источник
09:15пожаловаться#19

ЛР

Лев Рагулин... in Moscow Spark
Pavel Klemenkov
Потому что логика на спарке
Так Spark легко читает hive таблицы
источник
09:43пожаловаться#20