GP
а, тогда собери сам - там инстуркция есть; и запаблиши; типа
mvn distSize: a a a
2020 May 20
K
так для 2.11 скалы я делаю RUN curl http://apache-mirror.rbc.ru/pub/apache/spark/$SPARK_VERSION/$SPARK_VERSION_FULL.tgz --output spark.tgz и все есть
K
а, тогда собери сам - там инстуркция есть; и запаблиши; типа
mvn distда я собирал, может кто-то другой пользуется альтернативными путями , кто
K
или прям докерфайл даст готовый
GP
или прям докерфайл даст готовый
ну он у тебя почти готов, ты просто вместо копирования с зеркала дистра, клонь репу и рань https://spark.apache.org/docs/latest/building-spark.html#building-a-runnable-distribution
а потом все тоже самое
а потом все тоже самое
GP
и зашарь
GP
чето нет никого кто бы такое выкладывал для спарка 3
GP
там при сборке профиль указываешь и он положит тогда хадупо жарники в класспасс дистра
K
там при сборке профиль указываешь и он положит тогда хадупо жарники в класспасс дистра
я собирал образ(
2020 May 21
AC
Коллеги, всем привет, встречали ли вы когда-нибудь ситуацию, что приложение на spark засыпает? в 19:31 выполнился action count в течение 9.1 минуты, затем ничего не происходило час и десять минут и только потом spark продолжил работу. Никакого кода вне pyspark в этот момент там не работает. Он просто зависает на 1:10.
GP
Коллеги, всем привет, встречали ли вы когда-нибудь ситуацию, что приложение на spark засыпает? в 19:31 выполнился action count в течение 9.1 минуты, затем ничего не происходило час и десять минут и только потом spark продолжил работу. Никакого кода вне pyspark в этот момент там не работает. Он просто зависает на 1:10.
а чем заняты экзекуторы выяснял?
GP
Наверное считают что-то
AC
ничем
AC
ничего не считают
M
Кластер не забит?
AC
нет
M
Может ждёт свободный контейнер
GP
ничего не считают
А как проверил?
M
Ещё может драйвер что-то считать, это на UI не отображается
AC
