Добрый день.
подскажите как бороться с ошибкой:
Container ... is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 6.4 GB of 4.2 GB virtual memory used. Killing container.

приложение на pyspark, работает в режиме кластера

увеличить память на воркерах

я пробовал, но почему то ошибка всегда возвращается одна и та же. я могу задать память 5Gb. а в ошибке все равно будет: Current usage: 2.0 GB of 2 GB physical memory used; 6.4 GB of 4.2 GB

покажи как задаешь память у воркеров

если ошибка одна и та же и цифры такие же - то вероятно настройка не срабатывает

.config("spark.executor.memory", "2G")

из интересного:
Failing this attempt.Diagnostics: Container [pid=9577,containerID=container_e102_1612930128549_5112_01_000001] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 6.4 GB of 4.2 GB virtual memory used. Killing container.

container_e102_1612930128549_5112_01_000001 это AM Container

> .config("spark.executor.memory", "2G")
покажи всю строчку, где это делаешь?

щас она так выглядит

spark = (
   pyspark
   .sql
   .SparkSession
   .builder
   .master("yarn")
   .appName(f"test")
   .config("spark.driver.cores", "10")
   .config("spark.driver.memory", "100G")
   .config("spark.executor.instances","400")
   .config("spark.executor.cores", "1")
   .config("spark.executor.memory", "2G")
   .config("spark.python.worker.reuse", "false")
   .config("yarn.nodemanager.vmem-check-enabled", "false")
   .enableHiveSupport()
   .getOrCreate()
)

точно такая же ошибка возникает, когда делаешь 5g ?

цифры те же?

да

посмотри в Spark UI вкладку Executors, сколько там памяти у воркеров?

при этом на вкладке энверонмент

тут все ок

Стоп-стоп, а физически на воркерах сколько памяти? И на чём крутятся воркеры? Это не докер случайно?