PK
@pklemenkov вот интересно, откуда берутся пара порядков, только из параллелизация жи, а в чем она там?
Оттуда же откуда берётся пара порядков cpu vs GPU
Size: a a a
2020 June 23
NN
До тех пор пока данные не покидают GPU, ты получаешь ускорение в пару порядков. Понятно, что узкое место - это шаффл, но грамотное партиционирование и infiniband творят чудеса
Infiniband?
AZ
На чем олап куб развертываете, кстати? В памяти лежит, или кладёте на диск срезы?
PK
Сравни ширину 16 линий pci-express 4 и hbm2
AZ
Сравни ширину 16 линий pci-express 4 и hbm2
Хм, я думал, что там другое ускорили, но это тоже хорошо
AZ
А будет ли доклад про gpu на будущем саммите, если нет, то жаль
PK
А будет ли доклад про gpu на будущем саммите, если нет, то жаль
Будет
PK
Собсно под саммит и релизили )
AS
Дак, матрицы только в ml и то только в небольшой подгруппы алгоритмов, вроде рекомендаций, хотя вроде бы разложение матриц не шибко ускоряется на gpu
а как же регрессия?
PK
Не-не, суть Spark GPU в ускорении etl
ЕГ
Интересно, можно ли ускорить джойн с помощью гпу🤔
2020 June 24
AS
Евгений Глотов
Интересно, можно ли ускорить джойн с помощью гпу🤔
A
есть ли чат для нубских вопросов и/или Геоспарка, или тут тоже ок спрашивать?
IV
есть ли чат для нубских вопросов и/или Геоспарка, или тут тоже ок спрашивать?
Задавай
A
Задавай
есть ли какие-то стандартные приёмы справляться с долго отбегающими последними редьюсерами?
IV
Перепартицировать данные
IV
repartition (num_partitions, col)
NN
есть ли какие-то стандартные приёмы справляться с долго отбегающими последними редьюсерами?
Salting
A
repartition (num_partitions, col)
я правильно понимаю, что нужно выбирать колонку с приблизительно равными количествами повторяющихся уникальных значений, а не указывать колонку приведёт к случайному партицированию?
ЕГ
я правильно понимаю, что нужно выбирать колонку с приблизительно равными количествами повторяющихся уникальных значений, а не указывать колонку приведёт к случайному партицированию?
Не указывать колонку ведёт к RoundRobin Partitioning