DZ
покорял шамони (адыгею)
Size: a a a
2021 July 05
DZ
GP
красота какая
GP
а в инстаграме есть?)
DZ
не, не умею. у меня для этого жена (но в этот раз она не поехала)
GP
))))
ИК
Я выделил рамками количество записей и выделенную на них память. Это TaskMemoryManager.pageSizeBytes, если я правильно понял (хотя немного разный почему-то). И значение несоразмерно больше даже полного размера прочитанных файлов.
Подскажите, можно ли уменьшить размер страницы памяти и как это сделать?
Подскажите, можно ли уменьшить размер страницы памяти и как это сделать?
АБ
а откуда такие графы берутся?
ПФ
Вкладка SQL
АБ
а где?)
ПФ
В Spark UI
АБ
спасибо!
ИК
Spark UI
ИК
по коду раскопал spark.buffer.pageSize, указывается в байтах. Кто пробовал его менять и может ли это привести к нехорошему? Типа больших пауз на сборку мусора или сильного замедления работы с данными?
GP
Оомы вызывать может если в страницу не влезло что-то
ИК
кринжатина((
GP
Ну там более того есть какой-то минимальный размер
GP
И дефолтный по эвристикам считается
EC
вроде как максимальный есть