A
ох, правильно ли я понимаю что у вас hive из hdp и вы пытаетесь затянуть туда апач ванильный спарк?
Size: a a a
2021 February 09
A
если да, то он не полетит …
EC
если да, то он не полетит …
все ваниль 100%
EC
жопа?
t
Кто-нибудь может подсказать почему Спарк при записи двух больших партиций с
repartition(my_col, rand * 8)+ writer.partitionBy(my_col) все равно оставляет большие жирные партиции и не учитывает никак rand?spark.locality.wait 0
A
@Ponte_SantAngelo
стоп, какой из вариантов:
1) hdp со стандартными их пакетами от хортона/клоудеры
2) ваниль из апача и сами раскатывали
3) hdp, но сам хадуп и hive уже обновили до апачевских версий
стоп, какой из вариантов:
1) hdp со стандартными их пакетами от хортона/клоудеры
2) ваниль из апача и сами раскатывали
3) hdp, но сам хадуп и hive уже обновили до апачевских версий
EC
@Ponte_SantAngelo
стоп, какой из вариантов:
1) hdp со стандартными их пакетами от хортона/клоудеры
2) ваниль из апача и сами раскатывали
3) hdp, но сам хадуп и hive уже обновили до апачевских версий
стоп, какой из вариантов:
1) hdp со стандартными их пакетами от хортона/клоудеры
2) ваниль из апача и сами раскатывали
3) hdp, но сам хадуп и hive уже обновили до апачевских версий
2
M
spark.locality.wait 0
А при чем здесь локалити?
t
А при чем здесь локалити?
при репартишене спарк пытается как можно меньше телоджвижений делать и это негативно аффектит распредение по воркерам
ИК
А при чем здесь локалити?
спарк хитрый, знает, на каких хостах лежат исходные файлы, и на них же распределяет таски
t
в итоге и получается, что ты пытаешься размазать датасет, а он не мажется нифига, оставаясь на тех воркерах, на которых появился
M
Хммм, интересно, спасибо
ИК
хотя, это должно регулироваться ещё как-то, не зря же внешние шафл-сервисы подключают
A
Eugene Chipizubov
2
прикол, spark-hive jar только в версиях с хадупом поставляются
A
скачайте и заберите его оттуда
A
почему они не поставляют его в дефолт версии чтобы только хадуп/хайв либы нужно было подложить я не могу сказать
M
при репартишене спарк пытается как можно меньше телоджвижений делать и это негативно аффектит распредение по воркерам
Может ещё подскажете, можно ли данную опцию включить и выключить на рантайме, а не для всей сессии?
A
@Ponte_SantAngelo
то есть в той версии что вы скачали bin-without-hadoop
нету hive & hadoop - что ожидаемо, так как пользователь должен их предоставить
но так же нету spark-hive - классов обёрток для интеграции спарка и хайва, вот это уже странно как-то
то есть в той версии что вы скачали bin-without-hadoop
нету hive & hadoop - что ожидаемо, так как пользователь должен их предоставить
но так же нету spark-hive - классов обёрток для интеграции спарка и хайва, вот это уже странно как-то
A
поэтому и упала ошибка на HiveSessionStateBuilder
EC
@Ponte_SantAngelo
то есть в той версии что вы скачали bin-without-hadoop
нету hive & hadoop - что ожидаемо, так как пользователь должен их предоставить
но так же нету spark-hive - классов обёрток для интеграции спарка и хайва, вот это уже странно как-то
то есть в той версии что вы скачали bin-without-hadoop
нету hive & hadoop - что ожидаемо, так как пользователь должен их предоставить
но так же нету spark-hive - классов обёрток для интеграции спарка и хайва, вот это уже странно как-то
если добавить spark-hive 2.11 _ 2.47 Это полседняя версия для Spark2, то внезапно упадет с ошибкой Unrecognized Hadoop major version number: 3.3.0