N
Привет. Спарк на диск скидывает данные, если выполняется группировка ?
Size: a a a
2018 September 11
GP
Хороший вопрос; может контекста побольше? а то можно и на диск и не сбрасывать и не группировать
AP
+
It depends
It depends
N
Вот например, ,делаю просто groupBy(...).count
N
А как посмотреть . Скидывал он на диск или нет
ZM
вродь spill или как то так оно звалось в веб морде джобов
ZM
ну и по логам
AY
Shuffle write?
PK
Вообще unified memory management как бэ символизирует, что горячие данные джобов вытесняются с меньшей вероятностью, чем закэшенные. Но как узнать, был ли spill на диск сам хочу
N
Сейчас скину статью, где пишут очень странные вещи .
N
At each stage boundary, data is written to disk by tasks in the parent stages and then fetched over the network by tasks in the child stage.
N
N
Тут я и вычитал про сброс на диск.
NU
Там же куча настроек на этот счёт
https://spark.apache.org/docs/latest/configuration.html#shuffle-behavior
https://spark.apache.org/docs/latest/configuration.html#shuffle-behavior
ЕЖ
Ребята, всем привет! Подскажите, а вакансии сюда можно кидать?
DA
DA
но лучше
DA
сюда с пометкой #job