DZ
может еще у кого докерфайл для куба на spark 3 + hadoop 3 ?
Size: a a a
2020 September 09
DZ
а то их рекомендуемый на 2.7.4 , а мне мнешье 2.10 никак
2020 September 10
VP
Есть готовый образ - gcr.io/spark-operator/spark:v3.0.0-hadoop3
ПФ
Чатик, а кто пользуется массивами в спарке и зачем?
DZ
Vladimir Prus
Есть готовый образ - gcr.io/spark-operator/spark:v3.0.0-hadoop3
DZ
Я не смог найти ни единого упоминания про него
ИК
Чатик, а кто пользуется массивами в спарке и зачем?
Массив - в смысле поле датасета ArrayType?
Пользуюсь, чтобы склеить несколько полей и потом сделать explode, или, например, сколлектить в готовом виде, если foldLeft не хочется делать. Массивы в конечных структурах не храню
Пользуюсь, чтобы склеить несколько полей и потом сделать explode, или, например, сколлектить в готовом виде, если foldLeft не хочется делать. Массивы в конечных структурах не храню
ПФ
Массив - в смысле поле датасета ArrayType?
Пользуюсь, чтобы склеить несколько полей и потом сделать explode, или, например, сколлектить в готовом виде, если foldLeft не хочется делать. Массивы в конечных структурах не храню
Пользуюсь, чтобы склеить несколько полей и потом сделать explode, или, например, сколлектить в готовом виде, если foldLeft не хочется делать. Массивы в конечных структурах не храню
нет, ArrayType может и лист держать. А вот так чтобы прямо в датасете был Array[X]?
ИГ
Чатик, а кто пользуется массивами в спарке и зачем?
Например, записать в одно поле график в байтах, а в соседнее - подписи по оси Y в массиве
ПФ
Я тут обнаруил что нихера не поддерживаю его в Kotlin for Apache Spark и пытаюсь понять насколько это критикал
ПФ
Игорь Гомановский
Например, записать в одно поле график в байтах, а в соседнее - подписи по оси Y в массиве
реальный юзкейс, да?
PK
Чатик, а кто пользуется массивами в спарке и зачем?
GP
Чатик, а кто пользуется массивами в спарке и зачем?
картинки
ИГ
реальный юзкейс, да?
Да
ПФ
Спасибо
ПФ
Пошёл делать
ПФ
Так, а уточняющий вопрос — массивы не примитивных типов тоже можно зачем-то использовать?
ИГ
Так, а уточняющий вопрос — массивы не примитивных типов тоже можно зачем-то использовать?
В той же задаче, мы обучаем модель, и сохраняем ее саму и ее метрики (массив структур).
Удобно для отправки в REST сервис
Удобно для отправки в REST сервис
ПФ
спасибо