Почти под каждым dataset лежит rdd.

Значит, продолжим разбираться!

Есть такие, под которыми не лежит?

Есть один примитивный случай - когда , например , создаём dataset из последовательности и на нем сразу вызываем collect , например.

Посмотрел, используется Reservoir sampling. В принципе, в percentile_approx тоже приблизительный расчёт с эффективным использованием памяти и в первой прототипной реализации всё было хорошо, проблемы появились, когда потребовалось сделать распределение динамическим. Метод sample датасета никогда проблем не вызывал, он активно используется и качество выборки на миллиардах записей вполне устраивает. Даже если для RDD алгоритм намного лучше, то разница в несколько минут и несколько процентов отклонения размеров партиций ничего не решит.

Так вот, как я вижу, будут сложности с тем, чтобы сделать класс RangePartitioner динамическим, на основании количества строк в фиксированных партициях, тем более, сначала надо объединить его с партицированием по конкретным значениям других полей.

Спасибо, не догадывался о таком интересном случае, думал, что RDD вообще всегда в основе

Господа. А подскажите плз.

Есть жалобы от коллег DS что на ноде остались сессии от учетки и они жрут дофига памяти. Как их можно посмотреть и убить лишние? С линухом знаком крайне слабо.

В основном, тех.учетка запускает ежедневно N скриптов через crontab

на драйвере просто посмотри все джава процессы (?) может помочь

как?) хотя бы намекни что гуглить

ps aux | grep java

у меня запилин такой херней страдает

периодически чищу его процессы

там же вроде можно сешн шаре делать

часто живое убиваете?

я проверяю живые тетрадки через апишку

но да, ловля зомби-процессов запилина - отдельное удовольствие

как-то раз месяц его не трогал, потушил сам запилин - 30% тачки было занято его процессами все равно

word

ша?