EC
в сборках с хадупом, тупо не работает
Size: a a a
2021 February 09
EC
начинаются претензии к guava, guice... и т.д.
EC
hive напрямую работает
EC
а в спарке нет
A
правильно
A
потому что спарк создаёт подключение весело =)
в изолированном класлоадере
в изолированном класлоадере
EC
а как ему shims подменить?
EC
я уж hive-shims-common-3.1.2.jar пробовал, ему все равно
EC
сейчас попробую сборку сделать с hdp3.3.0
A
"spark.sql.hive.metastore.version" = "3.1.1""spark.sql.hive.metastore.jars" = "/usr/hdp/current/hive-client/lib/*:./*"A
не нужно подменять, параметрами спарка говоришь что версия не buildin, а бери с диска
A
если хдп то либы там будут
ИК
Кто-нибудь может подсказать почему Спарк при записи двух больших партиций с
repartition(my_col, rand * 8)+ writer.partitionBy(my_col) все равно оставляет большие жирные партиции и не учитывает никак rand?попробуй указать целевое количество файлов (и побольше, побольше))
EC
если хдп то либы там будут
кажется понял ошибку, в этом кейсе я указывал HIVE_HOME/lib
EC
попробуем сейчас
A
они не резолвят переменные окружения, нужен полный путь
M
попробуй указать целевое количество файлов (и побольше, побольше))
А разве есть такой параметр? Вообще как я понял это связано с partitionBy, выделяется ровно по одному екзекутору на запись
ИК
А разве есть такой параметр? Вообще как я понял это связано с partitionBy, выделяется ровно по одному екзекутору на запись
.repartition(n, expr1, expr2).write.partitionBy()…
вот это n поставь побольше, может быть получится
вот это n поставь побольше, может быть получится
M
.repartition(n, expr1, expr2).write.partitionBy()…
вот это n поставь побольше, может быть получится
вот это n поставь побольше, может быть получится
Пробовал, не работает