Батч

или это стрим? Тогда так и надо написать, найдутся знающие товарищи. Но для стрима обычно другая проблема - много мелких файлов. Но, поскольку я щас со стримами не работаю, то у меня и проблем этих нет))

есть один параметр, spark.sql.files.maxRecordsPerFile, мне он не нравится, потому что не даёт использовать параллелизм спарка на всю катушку и может оставлять огрызки. Но в данном случае могу его посоветовать

Я оцениваю исходный объём данных, делаю поправки на исходное сжатие и конечное сжатие и делю на размер блока HDFS. Получается желаемое количество конечных файлов n, далее делаю .repartition(n, expr), где expr - выражение, содержащее n значений, как правило - monotonically_increasing_id() % n.
При этом, конечно, надо учитывать партиционирование конечной таблицы (если есть). Коллизии неизбежны, то есть, какие-то файлы будут примерно в два-три раза больше, чем медианный размер, но их будет немного

Не очень понял, а зачем expr? Ведь желаемое количество файлов n уже указано, дальше repartition(n) сам равномерно нарежет.

зачем резать на мелкие файлы, если нет бакетирования? спарк при чтений большого паркет файла сам распараллелит чтение

файлы размером 2+ Гб долго записывать. А если найдется 20+ Гб, то ждать невозможно(

а как попасть на спарк саммит?

Поднимаю старую тему - «как попасть на саммит докладчиком?».

Открылся Call For Presentations на саммит 2021:

https://databricks.com/dataaisummit/north-america-2021/call-for-presentations