GP
спарк сабмит куда?
Size: a a a
2020 May 20
K
в ярн кластер
GP
у тебя в ярн кластере спарк 3?
K
а какая разница
K
спарк дистрибьютит свои бинари
GP
спарк дистрибьютит свои бинари
ну возьми куберовый имедж и поправь его слегка
GP
докерфайл у них в репе лежит
K
FROM openjdk:8
ENV SPARK_VERSION "spark-2.4.5"
ENV SPARK_VERSION_FULL ${SPARK_VERSION}-bin-hadoop2.6
ENV CONF_DIR /hadoop_configs
ENV SPARK_HOME=/$SPARK_VERSION_FULL
ENV PATH=$PATH:$SPARK_HOME/bin
ENV HADOOP_CONF_DIR=$CONF_DIR
ENV YARN_CONF_DIR=$CONF_DIR
RUN mkdir -p $CONF_DIR
RUN curl http://apache-mirror.rbc.ru/pub/apache/spark/$SPARK_VERSION/$SPARK_VERSION_FULL.tgz --output spark.tgz
RUN tar -xvzf spark.tgz
RUN rm spark.tgz
ADD . /
RUN cat env.sh >> ~/.bashrc
RUN . ~/.bashrc
EXPOSE 4040
VOLUME $CONF_DIR
K
ну возьми куберовый имедж и поправь его слегка
там нету бинарей хадупа
GP
слушай а ты же в кластер моде стартуешь, зачем тебе хадуп бинари?
K
а как по-другому?
GP
они не нужны если ты в кластер моде стартуешь
GP
у тебя драйвер будет на кластере же а там у тебя бинари хадуповые будут
K
ток если я ссылку на них дам
K
но у меня есть желание и в клаент моде запускать
GP
тогда это проще делать из приложения, если ты и правда хочешь превью спарка использовать
GP
не делай спарк сабмит, сразу стартуй приложение как драйвер
GP
затащишь зависиомтси окторые остусвуют сам руками в класспас
GP
через спарксабмит слишком долго разрабатывать будет
K
да я сча хочу 2.4,5 спарк с 2,12 скалой посмотреть как кто билдит имейджи с хадуп бинарями