А в чем выигрыш для Spark на gpu, какие вещи вы можете ускорить? Я вот думал - думал и ничего кроме multylayered perceptron в ml не придумал.
Плюс копирование из/в память gpu.
При этом, прикрутить gpu - это безусловно огромная работа, 100%
До тех пор пока данные не покидают GPU, ты получаешь ускорение в пару порядков. Понятно, что узкое место - это шаффл, но грамотное партиционирование и infiniband творят чудеса