SS
Для тех кто смотрит конфу DataLove и желает пообщаться со спикерами:
ссылка сразу с паролем для Spatial Chat
https://spatial.chat/s/KonfyCare?sp=Data2021
ссылка сразу с паролем для Spatial Chat
https://spatial.chat/s/KonfyCare?sp=Data2021
Size: a a a
2021 April 16
PK
Холден слилась ((
GP
ага ):
PK
В эпле все жетска
SS
не, я хочу понять что у sibma-spark драйвера под капотом, каким движком собственно вычитываются данные, стартует ли там Спарк-задание или еще какая-то магия
e
это же клиент , так же ж ?
2021 April 19
ПФ
NN
Блин, и только на третий спарк чтоль?(
NN
Кстати, а в чем прикол того,что часть функций для всех апи недоступна?
ЕГ
Жавка делает private-private)
NN
Так это, наверно, не жавка сама себя так написала, а разрабы с какой-то целью)
SG
Кто нибудь пробовал прочитать xls через Spark? Crealytics читает только xlsx, если подсунуть xls падает.
ЕГ
Xls - закрытый формат, который никто, кроме ворда, читать не может, xlsx = xml.zip
ЕГ
Поэтому xlsx ещё как-то можно считать, а вот xls если чем-то и откроется, то скорее всего никак не связанным со спарком
SG
Спасибо!
SG
Как вариант, загнать содержимое в массив через HSSWorkbook, не получается только конструкцию типа List[List[String]] в Spark передать
ЕГ
Нужно сконвертировать в list(Row)
ЕГ
И к этому уже можно применить createDataFrame