ВК
добрый день.
имеется pyspark который я запускаю через spark-submit
настройки такие:
.config("spark.driver.memory", "200G")
.config("spark.driver.maxResultSize", "200G")
.config("spark.executor.instances","100")
.config("spark.executor.cores", "3")
.config("spark.executor.memory", "10G")
.config("spark.memory.offHeap.enabled", "true")
.config("spark.memory.offHeap.size", "200G")
два вопроса:
1. В списке задач кластера написано, что Allocated Memory равно примерно 1.6 Tb. Но по моим подсчетам должно быть выделено: 100 * 10G + 200G = 1.2 Tb. Почему выделяется 1.6Tb?
2. Также в списке задач кластера указано Allocated CPU VCores = 101, но я же задал 3 ядра на контейнер? Почему не 301? При этом если провалится Spark UI, то там написано, что на эксзекьютер выделено 3 ядра.
имеется pyspark который я запускаю через spark-submit
настройки такие:
.config("spark.driver.memory", "200G")
.config("spark.driver.maxResultSize", "200G")
.config("spark.executor.instances","100")
.config("spark.executor.cores", "3")
.config("spark.executor.memory", "10G")
.config("spark.memory.offHeap.enabled", "true")
.config("spark.memory.offHeap.size", "200G")
два вопроса:
1. В списке задач кластера написано, что Allocated Memory равно примерно 1.6 Tb. Но по моим подсчетам должно быть выделено: 100 * 10G + 200G = 1.2 Tb. Почему выделяется 1.6Tb?
2. Также в списке задач кластера указано Allocated CPU VCores = 101, но я же задал 3 ядра на контейнер? Почему не 301? При этом если провалится Spark UI, то там написано, что на эксзекьютер выделено 3 ядра.
