1) Есть домашний/институский компьютер, ты написал программу. 2) По Grid-сети ты послал её в ЦУП-Grid-а 3) Прогаммка попала после ЦУП в конкретный свободный узел, после кросскомпиляции запустилась на мощностях под присмотром играющего тренера
Spark on Hadoop? Не "грид" конечно, но примерно так и работает вроде)
Spark on Hadoop? Не "грид" конечно, но примерно так и работает вроде)
Если уж говорить про Spark, то не обязательно Hadoop.
Игорь хотел сказать, что у неких коллег есть идея запускать код под присмотром учителя. Это можно сделать миллионом разных способов, грид тут вторичен.
Если уж говорить про Spark, то не обязательно Hadoop.
Игорь хотел сказать, что у неких коллег есть идея запускать код под присмотром учителя. Это можно сделать миллионом разных способов, грид тут вторичен.
Да, согласен, скорее как пример тут. По мне так само понятие "грид" сейчас надо как-то "конкретизировать" согласно юз кейсу.
Если уж говорить про Spark, то не обязательно Hadoop.
Игорь хотел сказать, что у неких коллег есть идея запускать код под присмотром учителя. Это можно сделать миллионом разных способов, грид тут вторичен.
Что значит "под присмотром учителя"? За чем он присматривает?
Что значит "под присмотром учителя"? За чем он присматривает?
Точно не знаю что имел ввиду автор, на примере того же спарка - наверное это то что делает Yarn или другой менеджер ресурсов - шедулит, контролирует лимиты ресурсов, контролирует завершение и. т. п. Но концепт "учителя" наверное шире этого конкретного кейса.