Я выдерживал код из рабочих тестов. Но я перепроверю и сделаю репозиторий. Ок, принято.)

Мне нравится третий вариант с репозиторием и урезанными примерами.

@greenhost87 @sherman81, скиньте свои креды. Я буду формировать благодарственный лист в презу.

При всем уважении.)

Если на выходе паркет, не забывайте, что размер будет зависеть от того, как вы уложите данные внутри датафрейма

Когда я пару лет эту проблему пытался решить, она была неразрешима в один шаг. Только с дополнительным шагом репартишена.
То есть подбирался estimation по формуле (average output / required size). Или тупо из статистики. Затем, если блоки были больше чем required size или меньше чем max(required_size, min_threshold) тогда происходил репартишн результата.
Это фундаментально непростая проблема. Во время вычисления не известно какого размера будет результат (потому что даже если знать все типы и кол-во строке, а это обычно не известно до последнего), то есть еще формат данных, у которого свои 100500 оптимизаций типа энкодинга и сжатия. Можно было бы писать последовательно, в один поток, но это не то что хочется получить от массивно параллельной системы вычислений.

Некоторые походят с другой стороны. С точки зрения файловой системы - файл один. Внутри он побит на блоки оптимального размера самостоятельно, самой файловой системой.

Чот никто не говорит, что если зашафлишь данные размер пухнет на структурированных данных, бывает что на порядок.

Потом читаешь заново, что такое паркет и осознаешь почему.

Затем изобретение калькулятора для размера файла становиться тривиальной задачей.

мне кажется правильным будет как раз не добавлять в репу Спарка ещё один язык (в принципе)

сейчас вот к примеру Р усложняет им жизнь; может тож выкинут (не найду ишщу но где-то была в жире или мкйлинг листе)

Реально неясно, нахер R нужен в спарке.

ну прост у кого-то много легаси кода, а переписывать нет ресурсов

для всяких хардкорных сотонистов!

ну да там суть что много поддерживать сразу замедляет релизы; жава + скала идеально было бы, питон требует бизнес так что тоже ясно зачем он

все остальное отдельно проще поселить)

Хардкорный сатанист требует цсвшку на вход. А уж спарковскую джобу, которая ее готовит, можно и на скале написать ))

блин а вы будете смеяться был у меня один случай когда клиенты хотели все на R

Сервер там, обработку чего-то

ну и спарки ровые

я даж удивился какая там экосистема