AB
при запуске джобы
Exception in thread "main" java.lang.RuntimeException: [download failed: commons-io#commons-io;2.6!commons-io.jar]Пробовал версии 2.4.7 и 2.4.1
Size: a a a
2021 March 23
AS
Кто сталкивался с ошибкой pyspark
нет jar/не настроены пути
AB
а куда пути должны быть? SPARK_HOME, HADOOP_HOME установлены , Java в path добавлена.
AB
spark-shell работает
AS
а в чем запускаете спарк?
AB
в VScode, Windows 10 Pro
AS
standalone?
AB
AB
запускаю как python file и там определяю зависимость
Попробую сейчас через spark-submit запустить
com.databricks:spark-xml, если убрать этот код, то все работает. packages = "com.databricks:spark-xml_2.11:0.9.0"
os.environ["PYSPARK_SUBMIT_ARGS"] = (
"--packages {0} pyspark-shell".format(packages)
)
Попробую сейчас через spark-submit запустить
AB
Видимо действительно почему-то не видит спарк, падает с ошибкой
Exception in thread "main" org.apache.spark.SparkException: Cannot load main class from JAR file:/C:/
AB
В общем проблема решилась переходом от
com.databricks:spark-xml_2.11:0.9.0 на com.databricks:spark-xml_2.11:0.12.0V
Коллеги, рекомендуте связку spark streaming +kafka для hadoop?
ЕГ
Коллеги, рекомендуте связку spark streaming +kafka для hadoop?
Ну, варианта два - либо спарк стриминг, либо флинк, выбор из этих двух архитектором обычно происходит по религиозным причинам)
ЕГ
Спарк стриминг можно на питоне и сразу в датафреймы, ниже порог входа
ЕГ
Плюс криво, но всё же работает с керберизированной кафкой и хадупом
ЕГ
Насчёт флинка не знаю точно, вроде тоже должно это быть там
AB
Евгений Глотов
Насчёт флинка не знаю точно, вроде тоже должно это быть там
на спарк стриминг сложно разрабов найти в флинк еще сложее))
AB
во флинке тоже можно сразу в кейсклассы матчить
AB
типа датасета спаркового
ЕГ
во флинке тоже можно сразу в кейсклассы матчить
Но это всё-таки не sql, как в структурном стриминге)