GP
ну блин, не всем нужен mllib, но его же пихают везде
отдельная депенся
Size: a a a
2020 September 02
M
Что мешает нужную версию кафки запаковать в архив с кодом
ME
Что мешает нужную версию кафки запаковать в архив с кодом
ничего, просто я удивлен что в репе написан код, он никак не отличаается от версии к версии
Sa
ничего, просто я удивлен что в репе написан код, он никак не отличаается от версии к версии
С другой стороны удобно тебе не нужно думать какую версию либы spark kafka использовать например для spark 2.4
ME
С другой стороны удобно тебе не нужно думать какую версию либы spark kafka использовать например для spark 2.4
ну вот я думаю просто его положить в сам спарк дистр и не думать
ПБ
На History Server UI нажмите и там то, о чем писали.
Попробую обрисовать задачу. Есть 10 паркет файлов 5 гб , и спарк с кучей ресурсов. Мне кажется что работают не все. Что надо сделать чтобы все ресурсы тратились на задачу и отрабатывали менее чем за секунды? Принудительно в скрипте грантовать ресурсы?
ПФ
Попробую обрисовать задачу. Есть 10 паркет файлов 5 гб , и спарк с кучей ресурсов. Мне кажется что работают не все. Что надо сделать чтобы все ресурсы тратились на задачу и отрабатывали менее чем за секунды? Принудительно в скрипте грантовать ресурсы?
Очередь в ярне настроить так, чтобы отдавал всё ресурсы задаче. И убедиться что Спарк требует все ресурсы )))
ПБ
Очередь в ярне настроить так, чтобы отдавал всё ресурсы задаче. И убедиться что Спарк требует все ресурсы )))
А как убедиться? Я зашел в spark ui он потратил 1 ядро и 300мб памяти..
2020 September 03
ЕГ
Попробую обрисовать задачу. Есть 10 паркет файлов 5 гб , и спарк с кучей ресурсов. Мне кажется что работают не все. Что надо сделать чтобы все ресурсы тратились на задачу и отрабатывали менее чем за секунды? Принудительно в скрипте грантовать ресурсы?
Уменьшить размер одного таска на чтение данных, таким образом вырастет число тасков
Но никак не может быть спарком на чтение 5гб один таск создан, как минимум будет 5*1024/128 = 40 тасков. Если они все работают в одном экзекуторе с одним ядром, а ресурсы в ярне простаивают, значит настройки ярна или спарка неправильные, скорее всего и того, и другого
Но никак не может быть спарком на чтение 5гб один таск создан, как минимум будет 5*1024/128 = 40 тасков. Если они все работают в одном экзекуторе с одним ядром, а ресурсы в ярне простаивают, значит настройки ярна или спарка неправильные, скорее всего и того, и другого
2020 September 04
AC
Всем привет, подскажите, пожалуйста, как грамотно подключить jdbc-driver для clickhouse в pyspark 2.4.0
DZ
а в чем вопрос?
DZ
какой конкретно драйвер?
AC
а в чем вопрос?
есть файл clickhouse-jdbc-0.2.jar, хочется его как-то передать pyspark, чтобы писать в clickhouse по определенному ip dataframe
DZ
ну так же как любой jdbc драйвер собсна
AC
ну так же как любой jdbc драйвер собсна
пробовал как здесь: https://stackoverflow.com/questions/46925864/how-to-add-jdbc-drivers-to-classpath-when-using-pyspark, но выкидывает ошибку
DZ
отлично, какую ошибку?
AC
отлично, какую ошибку?
py4j.protocol.Py4JJavaError: An error occurred while calling o86.parquet.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, udrvsa-dn55p.passport.local, executor 12): java.lang.IllegalArgumentException: java.net.UnknownHostException: path
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, udrvsa-dn55p.passport.local, executor 12): java.lang.IllegalArgumentException: java.net.UnknownHostException: path
DZ
в ошибке же чутко написано что нет так
IV
есть файл clickhouse-jdbc-0.2.jar, хочется его как-то передать pyspark, чтобы писать в clickhouse по определенному ip dataframe
В pyspark я просто указываю перед запуском Spark-сессии системную переменную как:
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--driver-class-path /path/to/jar/folder/* --jars /path/to/jar/folder/* pyspark-shell'
DZ
java.net.UnknownHostException: path