ЛР
Ему только нужно скормить hive-site.xml и в путь
Size: a a a
2018 July 25
ЛР
SqlContext.sql или sqlContext.table
PK
Ему только нужно скормить hive-site.xml и в путь
Я про это читал, но не очень понял, как это работает. Ща попробую.
GP
Я про это читал, но не очень понял, как это работает. Ща попробую.
так же как и хадуп / хбейз со спарком пашет, в класспас надо сунуть его и все подхватится
FL
Там будут страдания, если у тебя на кластере спарка тоже есть hive
FL
Hive-site читается из classpath на момент старта контекста
FL
Нормально разрулить два конфига сразу не удастся
FL
Придется выделять отдельный environment
FL
Если же на кластере спарка нет hive, то подсунуть чужой hive-site будет самый правильный путь. Я это вчера предлагал :(
PK
Если же на кластере спарка нет hive, то подсунуть чужой hive-site будет самый правильный путь. Я это вчера предлагал :(
Ага, я пропустил. Но на кластере со спарком действительно есть свой хайв. Его, правда, можно отключить
FL
Тебе надо не столько hive отключить, сколько конфликт эксемелек разруливать. =)
FL
Можешь временно переименовать родной конфиг, положить чужой, стартовать HiveContext и вернуть всё как было. Должно прокатить.
FL
Для верности, можешь оставить конфиг лежать, пока джоба не отработает
FL
Ну и это всё надо только на машине с драйвером, что приятно.
PK
Да, спасибо за замечание про конфликты, попробуй
AS
Вопросик появился. Надо бы почитать данные из внешнего хайва спарком. Какие есть варианты? Пока пробовал jdbc к hiveserver, съема вычитывается, но данных нет. Потенциально проблема с тем, что таблицы партиционированные, а как это указать непонятно
Для считывания данных из хайва, с другого кластера спарком обычно при создании с спарксессии указываю вот эти параметры
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
PK
Для считывания данных из хайва, с другого кластера спарком обычно при создании с спарксессии указываю вот эти параметры
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
Йеп, ты прав. Все, вроде бы просто. За исключением того, что трифт сервер не поднят, и версии дажрников расходятся, а на кластере со спарком нет инета. Короче полдня проваландался с этой шнягой. Зато узнал про метастор в local и remote режимах. Всем спасибо
K
Йеп, ты прав. Все, вроде бы просто. За исключением того, что трифт сервер не поднят, и версии дажрников расходятся, а на кластере со спарком нет инета. Короче полдня проваландался с этой шнягой. Зато узнал про метастор в local и remote режимах. Всем спасибо
Доклад можн )
PK
Ага, онг будет полезен ровно одному маргиналу, у которого все косяки в одном месте скопились )) Это я, как ты понял )
FL
Для считывания данных из хайва, с другого кластера спарком обычно при создании с спарксессии указываю вот эти параметры
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
.set("spark.sql.warehouse.dir", "hdfs://бла-бла”)
.set("hive.metastore.uris", "thrift://бла-бла”)
Во блин, а о переопределении параметров я как-то и забыл =)
Хорошее напоминание, спасибо.
Хорошее напоминание, спасибо.