VM
а если по прежнему падает?
Size: a a a
2020 October 12
ME
а если по прежнему падает?
надо смотреть что в classpath в результате на запуске
N
Попробуй через --jars еще
Посмотри документашку про --packages . Там про мавен ключевое
Посмотри документашку про --packages . Там про мавен ключевое
N
Ну или убер джар собери, чтобы потестить
VM
Я и так деплою fat-jar
N
А зачем пакеты добавляешь тогда? Оно там есть в джаре?
2020 October 13
VM
Для истории - проблема была в том что gradle при сборке shadw jar не корректно мёржил
DataSourceRegister из META-INF/services поэтому кафка не находилась как DataSourceDZ
Гредл, ясно понятно
VM
Следующий вопрос: structured streaming kafka + kerberos при попытке подключится к кластеру
The configuration sasl.jaas.config … was supplied but isn't a known config кто-то сталкивался с таким на Spark 2.3.0 ?2020 October 15
EC
ответ на свой вопрос: это битые значения и спарк их именем колонки заменяет, вот параметр за это отчевающий: columnNameOfCorruptRecord – allows renaming the new field having malformed string created by
PERMISSIVE mode. This overrides spark.sql.columnNameOfCorruptRecord. If None is set, it uses the value specified in spark.sql.columnNameOfCorruptRecord.👍спасибо, только, что наступил на такое. чатики иногда полезные
AG
Eugene Chipizubov
👍спасибо, только, что наступил на такое. чатики иногда полезные
Если использовать df.write.format(“com.databricks.spark.csv”).mode(...).option(...).save(...), а не метод .csv(...), то вообще никаких проблем не будет
AG
Там в методе .csv используется парсер csv из sql и с ним что то нет так
2020 October 17
EC
Коллеги, установка двух версий спарка 2.4.4 и 3.0.1 возможна?
Как я понял ставим версии в две директории, затем пользуемся update-alternatives
Спасиб заранее )
Как я понял ставим версии в две директории, затем пользуемся update-alternatives
Спасиб заранее )
t
Eugene Chipizubov
Коллеги, установка двух версий спарка 2.4.4 и 3.0.1 возможна?
Как я понял ставим версии в две директории, затем пользуемся update-alternatives
Спасиб заранее )
Как я понял ставим версии в две директории, затем пользуемся update-alternatives
Спасиб заранее )
хоть пяти версий)
EC
Хочу руками поставить без амбара или cmf. Есть ли инструкция, чтобы поменьше граблей собрать?
GP
Eugene Chipizubov
Хочу руками поставить без амбара или cmf. Есть ли инструкция, чтобы поменьше граблей собрать?
ну распакуй архив положи в папку вот и вся установка
EC
Ну
EC
Это понятно, вопрос как из под одного пользователя видеть две версии спарка
EC
Spark_major_version тоже известна