NN
Спасибо
livy использовал? Я все настроил и почти все работает, кроме флага numExecutors изменения его значения ничего не меняет, всегда создаеться максимально возможное количество executorsSize: a a a
2019 December 02
2019 December 03
SK
Всем день добрый, не подскажите кто нибудь
АЖ
Всем день добрый, не подскажите кто нибудь
livy использовал? Я все настроил и почти все работает, кроме флага numExecutors изменения его значения ничего не меняет, всегда создаеться максимально возможное количество executorsmax cores еще надо
SK
max cores еще надо
его не было в документации livy, в итоге решил используя
conf - Spark configuration properties:'conf': {
'spark.cores.max': 6,
'spark.executor.cores': 2,
'spark.executor.memory': '6g',
'spark.executor.instances': 3
}АЖ
его не было в документации livy, в итоге решил используя
conf - Spark configuration properties:'conf': {
'spark.cores.max': 6,
'spark.executor.cores': 2,
'spark.executor.memory': '6g',
'spark.executor.instances': 3
}Его и в документации спарка иногда нет :)
ЕГ
А лучше динамическое аллоцирование
АЖ
Евгений Глотов
А лучше динамическое аллоцирование
Пока датасатанюги про cache не узнали
С
Пока датасатанюги про cache не узнали
Расскажите поподробнее, вы наш отдел очень заинтересовали
С
А что такое кэш?
SO
Бабки бабки бабки...
AK
Сюткин
А что такое кэш?
Ты меня пугаешь.
С
С
Я многих девушек пугаю
AK
Щто за мужик?
2019 December 04
K
As you can see, I've been working on Scala 2.13 support. The umbrella
is https://issues.apache.org/jira/browse/SPARK-25075 I wanted to lay
out status and strategy.
This will not be done for 3.0. At the least, there are a few key
dependencies (Chill, Kafka) that aren't published for 2.13, and at
least one change that will need removing an API deprecated as of 3.0.
Realistically: maybe Spark 3.1. I don't yet think it's pressing.
is https://issues.apache.org/jira/browse/SPARK-25075 I wanted to lay
out status and strategy.
This will not be done for 3.0. At the least, there are a few key
dependencies (Chill, Kafka) that aren't published for 2.13, and at
least one change that will need removing an API deprecated as of 3.0.
Realistically: maybe Spark 3.1. I don't yet think it's pressing.
A
про jvm > 8 что-то слышно новое?
GP
про jvm > 8 что-то слышно новое?
уже давно 11 поддерживется в мастере