В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 August 07

OI

Oleg Ivchenko in Moscow Spark
Pavel Klemenkov
Я не понимаю как спарк даже с намбой может к GPU подключаться ) Или ты про пользовательские функции? Работа по кодогенерации куды в Спарке уже ведется одной из наших команд, вот здесь есть детали https://medium.com/rapids-ai/nvidia-gpus-and-apache-spark-one-step-closer-2d99e37ac8fd
Medium
NVIDIA GPUs and Apache Spark, One Step Closer
RAPIDS XGBoost4J-Spark Package Now Available
Да, про пользовательские ф-ции. В них можно вызвать numba, кот. дергает cuda.
источник
15:46пожаловаться#1

DU

Dmitry Ursegov in Moscow Spark
Просто вызвать функции нельзя, нужна ещё вся остальная обвязка, которая будет данные на видюху заливать, собственно чем rapids и занимается
источник
15:53пожаловаться#2

PK

Pavel Klemenkov in Moscow Spark
Dmitry Ursegov
Просто вызвать функции нельзя, нужна ещё вся остальная обвязка, которая будет данные на видюху заливать, собственно чем rapids и занимается
Ну, в намбе есть возможность класть данные на gpu. Толку от этого, правда, пшик. Потому что даже при довольно большом батче накладные расходы на трансфер из системной памяти мажорируют вычисления на gpu
источник
15:56пожаловаться#3

DU

Dmitry Ursegov in Moscow Spark
Если это через отображение системной памяти, да, скорее всего быстро вряд ли будет работать, но интересное замечание, да
источник
15:57пожаловаться#4

KS

Kostya Shchetkin in Moscow Spark
есть смысл на pyspark  (2.4.1) пытаться считать approximateNearestNeighbours для контентных рекомендаций?  Или лучше не начинать ?
источник
17:39пожаловаться#5

KS

Kostya Shchetkin in Moscow Spark
BucketedRandomProjectionLSH пробую, чет не очень взлетает
источник
17:40пожаловаться#6

KS

Kostya Shchetkin in Moscow Spark
или сразу идти в nmslib/faiss
источник
17:42пожаловаться#7

DG

Denis Gabaydulin in Moscow Spark
Pavel Klemenkov
Ну, в намбе есть возможность класть данные на gpu. Толку от этого, правда, пшик. Потому что даже при довольно большом батче накладные расходы на трансфер из системной памяти мажорируют вычисления на gpu
А как должно быть "правильно"?
источник
17:44пожаловаться#8

DU

Dmitry Ursegov in Moscow Spark
Denis Gabaydulin
А как должно быть "правильно"?
Колоночный формат+загрузка данных сразу, ещё можно компрессию добавить
источник
17:46пожаловаться#9

DU

Dmitry Ursegov in Moscow Spark
Не знаю, что из этого делает намба, но это явно за рамками кодогенерации удф находится
источник
17:48пожаловаться#10

PK

Pavel Klemenkov in Moscow Spark
Denis Gabaydulin
А как должно быть "правильно"?
В идеале правильно - это когда данные партиций спарка уже лежат в GPU. На худой конец в системной памяти они должны лежать в формате Arrow, чтобы все было не так печально. Вообще быстрая загрузка данных в GPU - это один из двух основных консернов использования GPU для процессинга, но тут есть подвижки, например https://devblogs.nvidia.com/gpudirect-storage/
NVIDIA Developer Blog
GPUDirect Storage: A Direct Path Between Storage and GPU Memory | NVIDIA Developer Blog
As AI and HPC datasets continue to increase in size, the time spent loading data for a given application begins to place a strain on the total application’s performance. When considering end-to-end…
источник
17:50пожаловаться#11

PK

Pavel Klemenkov in Moscow Spark
Приобретение нвидией меланокса - это тоже шаг в ту сторону http://www.mellanox.com/page/products_dyn?product_family=295&mtag=gpudirect
источник
17:51пожаловаться#12

PK

Pavel Klemenkov in Moscow Spark
Dmitry Ursegov
Колоночный формат+загрузка данных сразу, ещё можно компрессию добавить
Не увидел твой пост, сорри
источник
17:52пожаловаться#13

DU

Dmitry Ursegov in Moscow Spark
Нвидия хорошо взялась за дело ) Крутые новости
источник
17:52пожаловаться#14

PK

Pavel Klemenkov in Moscow Spark
Dmitry Ursegov
Нвидия хорошо взялась за дело ) Крутые новости
Дык, RAPIDS-то во все дырки суют, а у конечных пользователей есть щекотливые вопросики )) Одними маркетинговыми презами тут не обойтись )
источник
17:53пожаловаться#15

DU

Dmitry Ursegov in Moscow Spark
Ага, ну быстро двигаются в правильную сторону и в плане спарка и меланокс
источник
17:55пожаловаться#16
2019 August 08

YG

Yuriy Gavrilov in Moscow Spark
Из баз данных на gpu вот такую находил https://ru.m.wikipedia.org/wiki/Blazegraph а потом их Амазон купил и сделал Нептуна.
Wikipedia
Blazegraph
графовая СУБД
источник
23:15пожаловаться#17

YG

Yuriy Gavrilov in Moscow Spark
Больше всех обещают скорости
источник
23:16пожаловаться#18
2019 August 09

PK

Pavel Klemenkov in Moscow Spark
Да их 100500 уже. Blazing, OmniSci (бывший MapD), вот это вот, еще пучок. Но толку от них в реальной жизни (где больше одного запроса и пользователя одновременно мало). Хотя, это все же особенность архитектуры CUDA. Ожидание от GPU как от general-purpose архитектуры строятся на укоренившихся представлениях о работе CPU. А это не так
источник
10:37пожаловаться#19

ZM

ZLoyer Matveev in Moscow Spark
Pavel Klemenkov
Да их 100500 уже. Blazing, OmniSci (бывший MapD), вот это вот, еще пучок. Но толку от них в реальной жизни (где больше одного запроса и пользователя одновременно мало). Хотя, это все же особенность архитектуры CUDA. Ожидание от GPU как от general-purpose архитектуры строятся на укоренившихся представлениях о работе CPU. А это не так
из тех, что попадались в обзорах, все были комбинированными
источник
10:41пожаловаться#20