DZ
рибяты ну вы чо
Size: a a a
2020 September 04
AC
java.net.UnknownHostException: path
ай, точно😆
AC
А ошибка py4j.protocol.Py4JJavaError: An error occurred while calling o141.load.
: java.sql.SQLException: No suitable driver на что может указывать кроме неподходящей версии драйвера?
: java.sql.SQLException: No suitable driver на что может указывать кроме неподходящей версии драйвера?
GP
А ошибка py4j.protocol.Py4JJavaError: An error occurred while calling o141.load.
: java.sql.SQLException: No suitable driver на что может указывать кроме неподходящей версии драйвера?
: java.sql.SQLException: No suitable driver на что может указывать кроме неподходящей версии драйвера?
что драйвера нет в принципе
AC
если 205 килобайт для него - норма, то он есть
GP
значит не видит его
GP
Попробуй классооаднуть его
AC
Попробуй классооаднуть его
не понял, что с ним делать?
GP
не понял, что с ним делать?
подгрузи его, проверь что он и правда в класспасе
SE
Ребят, подскажите пожалуйста как распарсить файлик типа json в jsone
PK
Ребят, подскажите пожалуйста как распарсить файлик типа json в jsone
Не понял
SE
Ну вот у меня на локальной машине лежит файлик на 3 мб с расширением json, а в нем n jsonov
PK
Ну вот у меня на локальной машине лежит файлик на 3 мб с расширением json, а в нем n jsonov
Он невалидный получается?
T
Ну вот у меня на локальной машине лежит файлик на 3 мб с расширением json, а в нем n jsonov
spark.read
.option("multiLine", true).option("mode", "PERMISSIVE")
.option("multiLine", true).option("mode", "PERMISSIVE")
SE
А если у вложенных в json json'ов схемы различаются
AS
Он невалидный получается?
почему не валидный, каждая строчка отдельный json, с этим спарк на ура справляется
PK
почему не валидный, каждая строчка отдельный json, с этим спарк на ура справляется
Да, понял. Остался вопрос со схемой
AS
А если у вложенных в json json'ов схемы различаются
делай мега схему :)
AS
А если у вложенных в json json'ов схемы различаются
или как предложили читай один и тот же файл с разными схемами и потом объединяй (option("mode", "DROPMALFORMED"))
PK
Друзья мои, планируем Moscow Spark #10 в онлайне. Поэтому прошу всех потенциальных докладчиков ещё раз стукнуться мне в личку.