Первое что я увидел на эту тему:

https://m.habr.com/ru/company/jugru/blog/325070/

Из других источников видел, что спарк используют как припарку к спрингу. И используют dataframe api

Клиент на сайте вбивает поиск, а на бэкэнде быстренько с360 собирается😆

☝️

мапим сабмиты на вызовы рест-айпи

Ну да, как админка тоже может работать

мы так делаем, только без спринга, а это что-то плохое?

это старая статья оч

Но мне непонятно, зачем спринг , если честно

ну в плане, какая задача

сделать защищенный рест-апи к сабмитам

а причем тут спарк?

ну он сабмиты выполняет

ну там спарк кода нет

Коллеги, привет! Подскажите, а есть ли возможность запустить pyspark джобу через spark-submit, указав путь до скрипта относительно pwd будущего ярнового контейнера? Мы пробрасываем тарник-зипник в джобу и хотим использовать файлик из этого же архива в качестве ентрипойнта

Сейчас нужно либо
1) писать скрипт-враппер, либо
2) распаковывать архив перед спарк самбитом (если сразу достать нельзя), доставать файлик оттуда и пробрасывать его как это делается обычно

Можно файл отправлять как base64 аргумент софтины ещё

Привет, спарщики!
Скажите, пож, а что сейчас :sota: для преобразования колонки датафрейма с массивом в обычные колонки? Т.е. имеется колонка features, в ней массив, а надо датафрейм с колонками на каждую фичу, необязательно именованные.
Задача со звездочкой: если там не просто массивы а спарс-векторы?
Я нашел что-то такое на скале, и могу видимо сделать и на pyspark нечто подобное, но может есть чего получше?

val numCols = df
  .withColumn("letters_size", size($"letters"))
  .agg(max($"letters_size"))
  .head()
  .getInt(0)

df
  .select(
    (0 until numCols).map(i => $"letters".getItem(i).as(s"col$i")): _*
  )
  .show()

val numCols = df
  .withColumn("letters_size", size($"letters"))
  .agg(max($"letters_size"))
  .head()
  .getInt(0)

df
  .select(
    (0 until numCols).map(i => $"letters".getItem(i).as(s"col$i")): _*
  )
  .show()

Получше ничего нет, к сожалению

У меня есть такая реализация рекурсивная.

def flattenDataframe(df: DataFrame): DataFrame = {

   val fields = df.schema.fields
   val fieldNames = fields.map(x => x.name.replaceAll("\\S+\\s+\\S+", "_").replaceAll("__", "_"))


   fields.foreach(field => {
     val fieldtype = field.dataType
     val fieldName = field.name.replaceAll("\\S+\\s+\\S+", "_").replaceAll("__", "_")
     fieldtype match {
       case arrayType: ArrayType =>
         val fieldNamesExcludingArray = fieldNames.filter(_ != fieldName)
         val fieldNamesAndExplode = fieldNamesExcludingArray ++ Array(s"explode_outer($fieldName) as $fieldName")
         val explodedDf = df.selectExpr(fieldNamesAndExplode: _*)
         return flattenDataframe(explodedDf)

ок, спасибо!

тогда еще связанный вопрос. Может кто-то использовал mlflow.pyfunc.spark_udf - для инференса на спарке модели, которая определена на питон, и которой требуется пандас-датафрейм.
Что вы делаете, если у вас есть в спарке колонка features с массивом, а требуется передать в spark_udf обычный датафрейм с колонками.
1) преобразовывать features в колонки на спарке
2) отдавать колонку features как есть, делать sklearn pipeline и в ней уже преобразовывать данные для для sklearn-модели