И там есть stop the word

ну ок, ZGC

Ну они как бе для разного, в офхип наваливают всякий кеш и вспомогайку, которые чистить не надо.

Это какая jvm, на нем Спарк запускали?

Так ведь напихивать объекты мы можем только до конца жизни приложения в любом случае, разве нет?
Собственно, потому и возник вопрос изначально - почему не бахнуть на каждый экзекьютор столько памяти, чтобы она даже в теории не могла закончиться до конца работы джобы (при условии, когда у нас в принципе есть столько ресурсов, конечно)

Ну например редхатовская )

Там тоже условно есть STW, но так, малозаметно

Так же как и в шенанде

ZGC is able to have these small pause times because its’ stop-the-world pauses are limited to root scanning.  Ну вот в память напихают побольше, все равно будет дольше :)

формально да, но там будет слабозаметно

ну и откуда в спарке много рутов?

Реальный мир сталкивается с проблемами что память конечна

Ну это уже другой вопрос. У богатых свои причуды. А других приложений одновременно работающих нет, им ресурсы не нужны?
Если у вас столько памяти есть на узлах, может вам и спарк не нужен? Спарк то придумали, чтобы перемалывать то, что заведомо не влезет в память 1 машины.

вообще вероятно в спарке не меняется количество рутов )))

хоспаде, давайте я тогда перефразирую: Если вы попытаетесь запихнуть в спарк не параллеялщийся алгоритм, который он ну никак не сможет обработать, он попытается его обработать н драйвере и умрет по хип сайзу, но у меня один вопрос зачем это делать?

Купили как-то суровым сибирским лесорубам японскую бензопилу.
Собрались в кружок лесорубы, решили ее испытать.
Завели ее, подсунули ей деревце.
«Вжик» — сказала японская пила.
«У, бля...» — сказали лесорубы.
Подсунули ей деревце потолще. «Вж-ж-жик!» — сказала пила.
«Ух, бля!» — сказали лесорубы.
Подсунули ей толстенный кедр. «ВЖ-Ж-Ж-Ж-Ж-Ж-Ж-ЖИК!!!» — сказала пила.
«Ух ты, бля!!» — сказали лесорубы.
Подсунули ей железный лом. «КРЯК!» — сказала пила.
«Ага, бля!!!» — укоризненно сказали суровые сибирские лесорубы! И ушли рубить лес топорами…

Подскажите как перехватить ошибку выполнения таска и продолжить выполнение дальше. Ошибка при мерже схем паркетов в партиции. Использую spark/scala. Try/cath не помогает на моем уровне понимания.

Использую опцию

Я использовал самописный блок retry, но он по новой исполняет функцию, будет ли такой сценарий полезен?