ВК
в частности использую библиотеку pyspark.ml
Size: a a a
2021 January 22
ВК
драйевер под 200г, экзекютров 50
ВК
по 8 гиг на каждый
ВК
версия спарка 2.3.1
ПФ
На логах экзекьюторов должны быть эксепшны, посмотри плз
ВК
на нодах нашел только такую строчку
WARN Client: Exception encountered while connecting to the server : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.
WARN Client: Exception encountered while connecting to the server : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.
AS
Добрый день.
Подскажите, что за ошибка Answer from Java side is empty ?
Подскажите, что за ошибка Answer from Java side is empty ?
это только на этой задаче?
у меня было подобное когда версии PyArrow расходились
у меня было подобное когда версии PyArrow расходились
ВК
это только на этой задаче?
у меня было подобное когда версии PyArrow расходились
у меня было подобное когда версии PyArrow расходились
ну пока я конкретно эту ошибку вижу только на одной таске
ВК
при этом аналогичные таски на других данных работают норм
ВК
на нодах нашел только такую строчку
WARN Client: Exception encountered while connecting to the server : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.
WARN Client: Exception encountered while connecting to the server : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.
вот еще интересные сообщения
21/01/22 14:30:39 WARN TransportChannelHandler: Exception in connection from /10.42.101.151:44164
java.io.IOException: Connection reset by peer
21/01/22 14:30:39 WARN TransportChannelHandler: Exception in connection from /10.42.101.151:44164
java.io.IOException: Connection reset by peer
ПФ
Оооо. Может у тебя экзекьюторы умирают?
ВК
21/01/22 14:30:37 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_93_18 !
21/01/22 14:30:37 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_2895_0 !
21/01/22 14:30:37 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_93_118 !
21/01/22 14:30:37 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_2895_0 !
21/01/22 14:30:37 WARN BlockManagerMasterEndpoint: No more replicas available for rdd_93_118 !
ВК
WARN YarnAllocator: Container marked as failed: container_e100_1610953947560_3445_01_000052 on host: ——. Exit status: 143. Diagnostics: Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
Killed by external signal
Container exited with a non-zero exit code 143
Killed by external signal
ПФ
Вооот
ПФ
Проблема вовсе и не в питоне даже. Дальше надо разбираться кто тебя убивает. Ставлю на oomkiller
ВК
памяти докинуть на эксзекютеры?
ПФ
Надо разобраться кто и почему убил
ПФ
Логи на нодах посмотреть
ПФ
Может у вас память оверселлится?
ВК
а что это?
spark.executor.memoryOverhead в спарк-сабмите задаю
spark.executor.memoryOverhead в спарк-сабмите задаю