EC
Подскажите, может кто сталкивался
Size: a a a
2021 February 09
EC
spark-withou-hadoop
EC
можно интегрировать с hive?
EC
В моем случае exeption такой:
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0
EC
это после резолвинга ClassNorFoundException разумеется
EC
имеем:
Spark2.4.4-without-hadoop
Hadoop 3.3.0
Hive 3.1.2
Spark2.4.4-without-hadoop
Hadoop 3.3.0
Hive 3.1.2
AB
А хайв у тебя на чем крутится?
A
Eugene Chipizubov
В моем случае exeption такой:
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.3.0
а можешь показать полный стектрейс? мне что-то подсказывает что ты не указал как тебе забирать хайв драйвер в итоге он использовал buildin spark-hive и там я помню что-то такое
M
Кто-нибудь может подсказать почему Спарк при записи двух больших партиций с
repartition(my_col, rand * 8)+ writer.partitionBy(my_col) все равно оставляет большие жирные партиции и не учитывает никак rand?M
В итоге два екзекутора из 200 падают по памяти и всё
EC
А хайв у тебя на чем крутится?
на постгресе, если правильно понял вопрос
EC
а можешь показать полный стектрейс? мне что-то подсказывает что ты не указал как тебе забирать хайв драйвер в итоге он использовал buildin spark-hive и там я помню что-то такое
Я пока просто подсовываю spark-hive в spark/jars
EC
Т.к. сборка хайва без хадупа
EC
A
спарк работает с 3 разными хайвами
1) buildin - тот который спаркхайв и сразу в дистр включён
2) maven - указываешь версию какую хочешь и он подтягивает
3) file - указываешь путь на диске для jar
1) buildin - тот который спаркхайв и сразу в дистр включён
2) maven - указываешь версию какую хочешь и он подтягивает
3) file - указываешь путь на диске для jar
A
1 это старый хайв который не умеет в третий хадуп
AB
Eugene Chipizubov
Т.к. сборка хайва без хадупа
а зачем тебе хайв без хадупа? ну прям так надо или хадуп просто пока не хоч поднимать?
EC
1й исключил
EC
а зачем тебе хайв без хадупа? ну прям так надо или хадуп просто пока не хоч поднимать?
вот
хочу подключить s3a на minio
хочу подключить s3a на minio