A
А, вижу, там для трифт сервера есть выбор, но видимо не для того что внутри окажется
Там же любой может сделать, достаточно параметры profile передать правильные и всё, мейвен соберёт
Или в чем вопрос?
Size: a a a
2021 March 04
K
Не завелась у меня
K
Оно там не все так просто
K
Потом я нашел , что есть официальная сборка , хотя ее формально не поддерживали
K
А в 3.1 прям патчнотом написали отдельным , что теперь все
A
In Spark 3.1, we remove the built-in Hive 1.2. You need to migrate your custom SerDes to Hive 2.3. See HIVE-15167 for more details.
A
Да, ну значит надо теперь указывать что или из файла или с мейвена брать дрова :)
A
Потом я нашел , что есть официальная сборка , хотя ее формально не поддерживали
В 3.0 оно было в кодовой базе, я помню что видел код, в вот в 3.1 уже дропнули из кодебейза
K
Да, ну значит надо теперь указывать что или из файла или с мейвена брать дрова :)
Там вырезать нужно будет при этом хайв новый
K
Иначе падать будет
A
Не должно, видимо с зависимостями ты что-то намутил
NN
Если говорить про .groupBy(...).agg(count($"smth")), то это ведь другая семантика – это количество строк с not null значениями по этой колонке
Не, ну я не это имел в виду
K
Не должно, видимо с зависимостями ты что-то намутил
Я очень надеюсь , что оно работает
A
По быстрому по тикетам пообежал, они весь профиль и воркэраунды выпилили, обновив код для работы только с 2.3
Можно конечно заморочится и откатить все в зад :) вопрос лишь действительно ли это нужно, особенно в контексте
Support HDFS location in spark.sql.hive.metastore.jars (SPARK-32852)
Можно конечно заморочится и откатить все в зад :) вопрос лишь действительно ли это нужно, особенно в контексте
Support HDFS location in spark.sql.hive.metastore.jars (SPARK-32852)
A
Закинул hive джарки на хдфс, указал параметр и поднял коннект на старый метастор
В вот с buldin кодом были проблемы, я сам поменял некоторые файлы от паркета и хайва, так как там баги были уже пофикшеные в апстриме. А спарк эти классы использовал для работы с паркетом и тд
В вот с buldin кодом были проблемы, я сам поменял некоторые файлы от паркета и хайва, так как там баги были уже пофикшеные в апстриме. А спарк эти классы использовал для работы с паркетом и тд
K
По быстрому по тикетам пообежал, они весь профиль и воркэраунды выпилили, обновив код для работы только с 2.3
Можно конечно заморочится и откатить все в зад :) вопрос лишь действительно ли это нужно, особенно в контексте
Support HDFS location in spark.sql.hive.metastore.jars (SPARK-32852)
Можно конечно заморочится и откатить все в зад :) вопрос лишь действительно ли это нужно, особенно в контексте
Support HDFS location in spark.sql.hive.metastore.jars (SPARK-32852)
Если это работает то каеф
2021 March 05
ПБ
Доброй ночи! Скажите пожалуйста, кто то реализовывал такой кейс:
есть 10 слабых машинок по 10 тб в hdfs
Нужно быстро посчитать данные.
В облаке поднимаем мощную машину с кучей оперативки и памяти и делим эти ресурсы для спарка, считаем, после чего тушим
есть 10 слабых машинок по 10 тб в hdfs
Нужно быстро посчитать данные.
В облаке поднимаем мощную машину с кучей оперативки и памяти и делим эти ресурсы для спарка, считаем, после чего тушим
ЕГ
Доброй ночи! Скажите пожалуйста, кто то реализовывал такой кейс:
есть 10 слабых машинок по 10 тб в hdfs
Нужно быстро посчитать данные.
В облаке поднимаем мощную машину с кучей оперативки и памяти и делим эти ресурсы для спарка, считаем, после чего тушим
есть 10 слабых машинок по 10 тб в hdfs
Нужно быстро посчитать данные.
В облаке поднимаем мощную машину с кучей оперативки и памяти и делим эти ресурсы для спарка, считаем, после чего тушим
Сколько vcore в каждой из этих 10 нод?
ЕГ
Может на одной тачке спарк будет не быстрее, чем на этих 10
ЕГ
Оперативки достаточно 4.5gb/vcore