GP
падает жоба а не ярн
Size: a a a
2021 April 30
ПБ
Может ярн не додает? ) я просто думаю куда рыть )
GP
что значит ярн не додает?
GP
ярн все додает
GP
я уже сказал, отбери ядра у ехекуторов
GP
одно ядерные стартуй
GP
как ты пришел к колву ядерн на своей жобе и памяти?
GP
ты же понимаешь что чем ехеку больше ядер дал тем больше памяти он жрет
ПБ
Спасибо! Я по этой штуке пробовал разные параметры
https://stackoverflow.com/questions/39469501/spark-num-executors
https://stackoverflow.com/questions/39469501/spark-num-executors
ПБ
Num execurors, core etc
GP
оно у них тут из грубых стартовых оценок
GP
видать с данными такими работают
GP
суть в чем
те надо подобрать и найти минимальные параметры при которых твои ехеки работают хорошо
те надо подобрать и найти минимальные параметры при которых твои ехеки работают хорошо
GP
а потом ты добавляешь ядер чтоб заугрзить кластер равномерно
GP
а памяти докидываешь, что бы у них хватало процессить те ядра которые ты докинул
ПБ
Еще раз спасибо! 🤝
NN
Так это ж в любом случае не особо оптимально, не? Мы ж, считай, просто больше jvm машин стартуем, на что тратимся, при этом из потенциал особо не используем с одной коровой.
GP
это совсем не оптимально
GP
но, так (имхо) проще понять скок памяти надо на отработку одной таски твоей жобы
GP
иногда кста может быть и оптимально; вобщим зависит сильно от даты)