кажется я все осознал и преисполнился)

спасибо!)

Добрый день, подскажите чо делать, если послендяя таска в app mastere'е выполняется более 20 часов (медиана 15 сек). Я читал про skew join'ы, но у меня даже джоинов нет

посмотреть что за таска и где висит

У меня на pyspark rdd, а как я могу узнать, что конкретно там выполняется? Последнее событие в логах stderr 15 чаасов назад

Посмотри по ссылке, может подойдет метод.

Может кто может подсказать, есть ли способ адекватно контролировать размер файла при записи спарком в партиционированную папку?

я только сравнивал размер примерный датасета , объем папки и исходя из этого делал разное значение партицирования при записи авро

Я оцениваю исходный объём данных, делаю поправки на исходное сжатие и конечное сжатие и делю на размер блока HDFS. Получается желаемое количество конечных файлов n, далее делаю .repartition(n, expr), где expr - выражение, содержащее n значений, как правило - monotonically_increasing_id() % n.
При этом, конечно, надо учитывать партиционирование конечной таблицы (если есть). Коллизии неизбежны, то есть, какие-то файлы будут примерно в два-три раза больше, чем медианный размер, но их будет немного

Когда пишу авро на hdfs то обычно они ровно размер распределяются

потому что авро ты пишешь последовательно

в случае же паркета поколоночное хранение ты заранее не можешь сказать как сожмётся

если конечная папка партиционирована, то в выражение я кидаю UDF, в которой есть предрасчитанные количества файлов для каждой партиции. Значения ключей партиционирования конкатенирую в строку через «;»

val parts: Map[String, Int] = {посчитать количество файлов для каждой партиции}
val udfByMap = udf { partColumns: String => parts.getOrElse(partColumns, 1) }

Интересный подход, но увы не подходит для моего кейса

вот примерно так, из трёхсот тысяч файлов 99,8 были в пределах 5% от целевого значения

А кейс в чём заключается?

По умолчанию мы льём один файл в париицию, и периодически бывает что этот файл неприлично большой, нужен относительно дешёвый способ его разбить на поменьше файлы в таких случаях

если это батч, то просто repartition(n) - при этом n всё равно надо предварительно рассчитать

Может сделать костыль с каунтом, если каун большой то делать партиуий больше,?