D
@puzyaaaaaa here is your starter kit.
Size: a a a
2021 May 09
N
Ребят такой вопросик есть n-ное количество linux машин, можно ли объединить вычислительные ресурсы? Есть свободное решение под такую задачу?
U
что именно вычислять?
U
бигдата? спарк к примеру.. но он наоборот распределяет вычисления. тот же кубер/шифт тоже не может обмануть физику, и ресурсы ноды это ресурсы ноды
GV
spark + hadoop
U
в любой непонятной ситуации ставь кубер, а в нем спарк запускай
N
Спасибо коллеги, иду гуглить
VR
Раскрой более подробно что ты хочешь.
Майнить на свободных компах?)
Майнить на свободных компах?)
VR
Просто есть сильно много разных способов сделать это в зависимости от задачи - кубер и спарк уже сказали, mpi ещё есть и ещё
U
U
тьма карочи вычислительных "кластеров". так что давай детали, поддержу Василия
N
Не не майнить, скажем надо группу компов а большой сервер превратить
U
вот без обид.. задача звучит так, что ответ будет "ну что нибудь поставь"
U
большой сервер - это железный короб.. гипервизор
U
чудес не бывает, ты не сможешь запускать одну задачу размазывая её по другим машинам без геморроя
N
ну уже хлеб
VL
просто запустить жирную однопоточную задачу на кластере нельзя, но если задачу можно разбить на более мелкие задачи которые можно выполнять параллельно то для разных задач есть разные инструменты, например discc, MPI, Spark...
2021 May 10
D
@ALx3y here is your starter kit.
MS
Если дело будет вечером и делать будет нечего. То можно запустить Mpi/Beowulf Cluster и там гонять.
S
Нет