изврат

о, а получается поломанный паркет или просто не пишется?

да, успешно пишет

но потом обратно в df уже не превращается

Caused by: java.lang.IllegalArgumentException: Illegal Capacity: -21

некоторые паркеты при этом размером под 50G каждый

ой, народ спит, пардон

А можешь мне прислать какой-нибудь маленький, если так можно сделать?

да, давай завтра попробую искусственно сгенерить один

внутри медицина, нельзя оригинал

и скинешь пример как сохраняешь?

да

Спасибо! Я бы его сам посмотрел и в наш тестсет добавил

тебе спасиб

spark.sql.parquet.writeLegacyFormat попробуй.

а какие сча ноутбуки есть  с поддержкой спарк 3 из коробки

он премис)

Привет, спарщики!
У меня такая проблема - не могу побороть. Установил старенький дистрибутив HDP 3.1 и заменил в нем папку spark2 на более свежий 2.4.7 после некоторого шаманства с установкой переменных это рабает как надо.
Однако при добавлении опций  динамической аллокации, работать перестает с ошибками типа
Caused by: org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:spark_shuffle does not exist
в yarn-site.xml определены классы и пути для spark_shuffle и spark2_shuffle.
В  yarn.nodemanager.aux-services стоит spark2_shuffle, но добавить spark_shuffle, то теперь огибка на экзекуторах другая - не стартует этот сервис на порту 7337. При этом spark2_shuffle использует 7447, как пишут.
Но я не понимаю, на самом деле - на правлильном пути ли я с этим?
Кому-то удавалось побороть настройки динамической аллокации при таком апгрейде?

я наверняка неправильно помню, но у себя решил просто апгрейдом до spark-3.0.1-yarn-shuffle.jar