Size: a a a

2020 June 18

R

Renarde in Moscow Spark
Процесс разработки в Спарк изнутри брикса приблизительно такой же как и в OSS версии.  Фичи приоретизируются исходя из запросов клиентов и технического видения продукта от его основателей.
Вот тут кстати хорошее интервью с Матеа:
https://www.youtube.com/watch?v=rvUxVbpw0TI
источник

t

tenKe in Moscow Spark
наконецто :)
источник
2020 June 19

K

KrivdaTheTriewe in Moscow Spark
оч  приятно что проект скопилился сразу
источник

NN

Nazar Niyazov in Moscow Spark
источник

NN

Nazar Niyazov in Moscow Spark
Может кто-нибудь объяснить этот код из выступления "Apache Spark Core - Deep Dive"? Насколько я понял, он создаёт параллельный массив, а затем его обрабатывает. Что это даёт?
источник

t

tenKe in Moscow Spark
Nazar Niyazov
Может кто-нибудь объяснить этот код из выступления "Apache Spark Core - Deep Dive"? Насколько я понял, он создаёт параллельный массив, а затем его обрабатывает. Что это даёт?
это для FAIR планировщика, чтобы джобы одновременно выполнялись
источник
2020 June 22

PK

Pavel Klemenkov in Moscow Spark
GitHub - NVIDIA/spark-rapids: Spark RAPIDS plugin - accelerate Apache Spark with GPUs
https://github.com/nvidia/spark-rapids
источник

PK

Pavel Klemenkov in Moscow Spark
Псс, у нас тут темка подъехала
источник

K

KrivdaTheTriewe in Moscow Spark
Pavel Klemenkov
Псс, у нас тут темка подъехала
Какая
источник

PK

Pavel Klemenkov in Moscow Spark
Ну как бэ это  spark на gpu )
источник
2020 June 23

PK

Pavel Klemenkov in Moscow Spark
Кстати, не забываем, что начался Spark Summit. В этом году, как и все остальное, мероприятие виртуальное и бесплатное (основная конфа). Регистрация тут https://sparkaisummit.com
источник

K

KrivdaTheTriewe in Moscow Spark
Кто-нибудь выставлял спарковые проперти в рантайме, чтобы их можно было в юайке прочитать?
источник

AZ

Alexey Zinoviev in Moscow Spark
Pavel Klemenkov
Ну как бэ это  spark на gpu )
А в чем выигрыш для Spark на gpu, какие вещи вы можете ускорить? Я вот думал - думал и ничего кроме multylayered perceptron в ml не придумал.

Плюс копирование из/в память gpu.

При этом, прикрутить gpu - это безусловно огромная работа, 100%
источник

AZ

Alexey Zinoviev in Moscow Spark
В примере я так понял ускоряют инференс дерева?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Alexey Zinoviev
А в чем выигрыш для Spark на gpu, какие вещи вы можете ускорить? Я вот думал - думал и ничего кроме multylayered perceptron в ml не придумал.

Плюс копирование из/в память gpu.

При этом, прикрутить gpu - это безусловно огромная работа, 100%
ну матрицы какие-нить множить
источник

AZ

Alexey Zinoviev in Moscow Spark
Дак, матрицы только в ml и то только в небольшой подгруппы алгоритмов, вроде рекомендаций, хотя вроде бы разложение матриц не шибко ускоряется на gpu
источник

PK

Pavel Klemenkov in Moscow Spark
Alexey Zinoviev
А в чем выигрыш для Spark на gpu, какие вещи вы можете ускорить? Я вот думал - думал и ничего кроме multylayered perceptron в ml не придумал.

Плюс копирование из/в память gpu.

При этом, прикрутить gpu - это безусловно огромная работа, 100%
До тех пор пока данные не покидают GPU, ты получаешь ускорение в пару порядков. Понятно, что узкое место - это шаффл, но грамотное партиционирование и infiniband творят чудеса
источник

AZ

Alexey Zinoviev in Moscow Spark
Т.е. мне реально интересно, или там параллелизация более низовых кусков из кодогенерации
источник

AZ

Alexey Zinoviev in Moscow Spark
@pklemenkov вот интересно, откуда берутся пара порядков, только из параллелизация жи, а в чем она там?
источник

PK

Pavel Klemenkov in Moscow Spark
Ну а если спустится с небес на землю, то мой ворклоад с олап кубами на десятигигабитном аплинке тоже ускоряется раза ви3
источник