А
Пробовал, не работает
Что если создать колонку и по ней сделать репартишен без expr. Тоже будет ошибка?
Size: a a a
2021 February 09
M
Что если создать колонку и по ней сделать репартишен без expr. Тоже будет ошибка?
Да, но там не ошибка, а просто вся запись уходит на два экзекутора которые отваливаются по памяти
ИК
в таком случае rand() * 8 - непохоже, что работает((
AL
Кто-нибудь может подсказать почему Спарк при записи двух больших партиций с
repartition(my_col, rand * 8)+ writer.partitionBy(my_col) все равно оставляет большие жирные партиции и не учитывает никак rand?а сколько уникальных значений у колонки my_col? а то может их 2 всего
M
а сколько уникальных значений у колонки my_col? а то может их 2 всего
Так их и есть два, и я собственно пытаюсь решить проблему записи
AL
а репартишен разве может отправить одинаковые значения в разные партиции?
ИК
вообще, лучше привести к Int: ( rand() * 8 ) cast IntegerType
M
а репартишен разве может отправить одинаковые значения в разные партиции?
Так я добавлял рандомный коэффициент, но это не сработало
ИК
а репартишен разве может отправить одинаковые значения в разные партиции?
нет
EC
они не резолвят переменные окружения, нужен полный путь
здесь имел в виду, что полный путь указываю где hive живет до директории lib
/etc/hive/lib
/etc/hive/lib
EC
java.lang.ClassNotFoundException: org.apache.spark.sql.hive.HiveSessionStateBuilder
EC
также не может найти класс
ИК
Так я добавлял рандомный коэффициент, но это не сработало
рандомный коэффициент не сработал, это факт, а почему там 8? может стоит влепить 128 или еще больше?
M
рандомный коэффициент не сработал, это факт, а почему там 8? может стоит влепить 128 или еще больше?
Ну 8 это для примера, там число вычисляется относительно желаемого количества строк в файле, тем не менее нифига не пишет он параллельно
А
Да, но там не ошибка, а просто вся запись уходит на два экзекутора которые отваливаются по памяти
Так можно увидеть, что сгенерировал ранд, может легло с перекосом или меньше 1
ИК
Ну 8 это для примера, там число вычисляется относительно желаемого количества строк в файле, тем не менее нифига не пишет он параллельно
вообще, лучше привести к Int: ( rand() * 8 ) cast IntegerType
A
Eugene Chipizubov
также не может найти класс
что-то у вас с класспасом, так как этот класс в
spark-hiveM
Так можно увидеть, что сгенерировал ранд, может легло с перекосом или меньше 1
Это я то тоже проверял, там отлично всё распределилось на 143 партиции, но запись всё равно свалилась на два экзекутора
M
Хотя стоп, там стейдж с 143 партициями не начал даже выполняться, свалилось чуть раньше, буду смотреть почему
EC
если хдп то либы там будут
у меня ванильный hdp, hive-clirnt директории нет. Блин, ощущение, что игнорит spark.sql.hive.metastore.jars и я что то не так делаю