t
2.7 на этой вкладке - это 5G суммарно в хипе
Size: a a a
2021 February 16
t
я думаю все таки на 5G ошибка другая будет - перепроверь
ВК
Стоп-стоп, а физически на воркерах сколько памяти? И на чём крутятся воркеры? Это не докер случайно?
на нодах? больше 200 вроде. докеров нету
ВК
я думаю все таки на 5G ошибка другая будет - перепроверь
вот щас запустил жду...
ВК
а почему вы думаете что дело в воркерах? я выше писал что в ошибке указан контейнер Апликейшен мастера.
ВК
это разве не в сторону драйвера надо копать?
t
а, ну если это драйвер, то накинь тамя памяти, только это не в коде надо делать
t
а в конфиге spark-defaults.conf или через spark-submit --driver-memory 5g
ВК
а, ну если это драйвер, то накинь тамя памяти, только это не в коде надо делать
в этом и вопрос - у меня для драйвера указано 100G - почему он ругается на 2G
t
потому что у тебя уже жвм в драйвером запущена
t
ей пофиг на то, что ты в config про драйвер указал
ВК
ок,
ща попробую
ща попробую
t
для воркеров это раотает
t
для драйвера - нет
t
тк воркеры начинаются спауниться после создания SparkSession
NN
spark = (
pyspark
.sql
.SparkSession
.builder
.master("yarn")
.appName(f"test")
.config("spark.driver.cores", "10")
.config("spark.driver.memory", "100G")
.config("spark.executor.instances","400")
.config("spark.executor.cores", "1")
.config("spark.executor.memory", "2G")
.config("spark.python.worker.reuse", "false")
.config("yarn.nodemanager.vmem-check-enabled", "false")
.enableHiveSupport()
.getOrCreate()
)
pyspark
.sql
.SparkSession
.builder
.master("yarn")
.appName(f"test")
.config("spark.driver.cores", "10")
.config("spark.driver.memory", "100G")
.config("spark.executor.instances","400")
.config("spark.executor.cores", "1")
.config("spark.executor.memory", "2G")
.config("spark.python.worker.reuse", "false")
.config("yarn.nodemanager.vmem-check-enabled", "false")
.enableHiveSupport()
.getOrCreate()
)
Как возможный совет - увеличить количество коров на экзекутор, а то получается оверхед за счёт того, что на каждый jvm всего одна корова.
G
Народ. Подскажите. Как мне прочитать и сджойнить огромный набор непартийированных данных. Шаффлинг зашкаливает. Пока приходит в голову только считать и пересохранить все это партицированно . Только боюсь что прочитать и сохранить не получится изза обьемов
ПФ
Народ. Подскажите. Как мне прочитать и сджойнить огромный набор непартийированных данных. Шаффлинг зашкаливает. Пока приходит в голову только считать и пересохранить все это партицированно . Только боюсь что прочитать и сохранить не получится изза обьемов
мэпредьюсом?
G
мэпредьюсом?
Прям по хардкору?
G
Пересохранять - не хочется