N
там она по принципу LRU кэша работает. старое и которое сейчас не используется будет вытеснено как только появится необходимость
Size: a a a
2020 June 16
N
на мой взгляд вопрос только с диском, но диск очищается при завершении
GP
Nikolay
там она по принципу LRU кэша работает. старое и которое сейчас не используется будет вытеснено как только появится необходимость
именно так и работает; пока лру кеш работает в то время все и хорошо и будет
GP
как только лру евикшн не будет справляться с объемами - тогда надо делать ручной анперсист
ПФ
Caching all of the generated RDDs is not a good strategy as useful cached blocks may be evicted from the cache well before being re-used. For such cases, additional computation time is required to re-evaluate the RDD blocks evicted from the cache.GP
не надо в общем случае никогда анперсист звать руками
GP
сломать можно все
ПФ
Чем бльше закешировал — тем больше шансов что пойдёт пересчитываться
N
Зачем тогда боятся забытого unpersist?
GP
не знаю
GP
мой пойнт был в том что перситить надо осторожно
GP
анперсист помогает когда большие куски в памяти валяютсяи хочется осовободить память для след большого шага не свзяанного с предыдущим
N
я тоже не делаю unpersist. Он сам сделает, когда надо будет . В новом API для котлина эта фитча выглядит подозрительной )
GP
особенно мне нравится оомы на стадии персиста
GP
интересно как он будет сразу эвиктить то что не влезает
ПФ
Nikolay
я тоже не делаю unpersist. Он сам сделает, когда надо будет . В новом API для котлина эта фитча выглядит подозрительной )
Спасибо за фидбек! Если все посчитают это вредным — я с большой лёгкостью это выпилю :)
N
он чтобы избежать OOM на стадии персистинга
N
делает его маленькими кусочками
GP
что замедляет джобу