SG
Спасибо, попробую
Посмотри apache poi, на нем crealytics работает.
Вообще ты можешь пользоваться питоном cо спраком, на питоне достаточно библиотек работающих
с екселем по типу: ексель -> пандас -> спарк
Size: a a a
2021 April 19
АА
Как минимум питоном ты можешь конвертнуть xls в xlsx, затем подсовывать в crealytics
SG
У меня scala. Xls высчитывается через poi отлично. Теперь надо только конструкцию типа List[List[String]] в Spark передать.
SG
Проблема пока толко в том, что количество ячеек динамическое.
SG
Не совсем понятно, как list преобразовать в row, чтобы Spark смог прочитать.
ЕГ
Нужно выделить целевую схему и забить нуллом все колонки, которых нет в строке
АА
Через poi ты никак не сможешь работать с объектами екселя по типу dataRange(в формулировке могу ошибаться).
Опять же если выбор скалы, это только зона привычности, имхо, стоит переступить через себя и воспользоваться возможностями питона.
Если же это ограничение системы, тогда соглашусь, нужно городить костыли
Опять же если выбор скалы, это только зона привычности, имхо, стоит переступить через себя и воспользоваться возможностями питона.
Если же это ограничение системы, тогда соглашусь, нужно городить костыли
АА
А ты импортируешь:
Import spark.implicits._
?
С этим импортом у листа появляется метод list.toDF
Import spark.implicits._
?
С этим импортом у листа появляется метод list.toDF
SG
Да, только он внутренний лист не разбивает на колонки.
SG
Ему надо внутренний лист преобразовать в Typle. А в нем заранее не известно число элементов.
АА
При создании датафржйма из листа, ты можешь подсунуть ему схему будущего датафрэйма. Используй structType и arrayType
ИК
Сегодня решал похожую проблему, если число элементов во внутренних List одинаковое, то его можно получить и сделать select(range(0,n).map(i =>col("listName")(i) as s"list_$i")):_*)
ИК
Если где скобку забыл, сорян
SG
Спасибо, попробую.
ПФ
кому-то лень писать, я думаю. А может тяжко оптимизировать пифоманс (и мы не знаем что в либе с ним). Если там udf — то будет прфоманс хит вероятно. ) И да, похоже только под третий спарк.
ПФ
Я читал, да.
ПФ
Это не совсем правда. Данные оттуда Apache POI умел читать
SG
А в Spark получилось результат передать?
ПФ
получалось, но всё руками конечно. И у нас там ни формул, ничего не было. А правда ли что никак не избежать работы с xls? Ну там типа бизнес попросить в xlsx сохранять