Теперь "спарки" не подпольные, а оффициальные!

Друзья, здравствуйте)

Есть ли какие-нибудь best practice по "развертке" wrapped array?

К примеру, есть такой датафрейм со следующей схемой

|-- field_1: string (nullable = true)
|-- field_2: string (nullable = true)
|-- field_3: struct (nullable = true)
|    |-- field_3_1: array (nullable = true)
|    |    |-- element: struct (containsNull = true)
|    |    |    |-- field_3_1_1: string (nullable = true)
|    |    |    |-- field_3_1_2: string (nullable = true)
|    |    |    |-- field_3_1_3: long (nullable = true)
|    |    |    |-- field_3_1_4: struct (nullable = true)
|    |    |    |    |-- field_3_1_4_1: array (nullable = true)
|    |    |    |    |    |-- element: struct (containsNull = true)
|    |    |    |    |    |    |-- field_3_1_4_1_1: string (nullable = true)
|    |    |    |    |    |    |-- field_3_1_4_1_2: string (nullable = true)
|    |    |    |    |    |    |-- field_3_1_4_1_3: long (nullable = true)
|    |    |    |    |    |    |-- field_3_1_4_1_4: struct (nullable = true)

Может быть, что в field_3_1_4_1 будет еще одна вложенность

Сталкивался ли кто с подобным?

Не совсем понятен вопрос.

Там же тип есть, так?

Да, верно

Если тип известен — то что мешает делать explode пока структура не станет плоской?

Их жутко много — порядка 10 вложенностей с N возможных вложенностей внутри)

Рекурсивно можно до заданного уровня эксплоудить, если известны какие-то мелкие массивы, то их можно по колонкам раскатать

Вопрос, наверное, в следующем: ок ли так и делать?)

ну ариантов-то не так много — либо в колонки, либо эксплоудить

Спасибо всем)

Так если у вас уже есть тип, case class, то может проще передавать в udf и брать нужные поля?

собственно просто использовать нормальные типихированные датасеты и преобразовывать данные так, как удобно

Народ, поскажите, скорее всего стандартная ситуация но не могу найти как ее решить.
Я пару раз запустил spark-submit с —jars. Потом эти jars пересобрал (нашел ошибки) но после повторного запуска spark-submit он цепляет “старые версии” этих jars
Как это победить? Как заставить spark-submit цеплять ВСЕГДА новые jars?

вообще самое простое — это fat jar собрать. Не вариант?

в jars локальные пути? Имена файлов после пересборки поменялись?

Ну да, самое простое - согласен. Но мы сейчас пошли по пути - разбить логику на библиотеки
jars лежат в hdfs
имена НЕ поменялись

Другими словами не меняются имена — используются закешированные либы

Потому что distributed cache