Хм, а кто-то пробовал такую штуку? https://cloud.google.com/blog/big-data/2018/04/using-bigdl-for-deep-learning-with-apache-spark-and-google-cloud-dataproc

Не пробовал, но звучит круто)

И кстати, чем не тема для доклада на Митапе по Spark + DL?

Ну так я поэтому и закинул удочку ;)

😊👍

Я запускал всякие примеры (работает), реальных задач не решал

👍

4-ый курс когда запустится? из альфы с начала года не выходит.

На правах соавтора, отвечу.

Команда, выпускающая специализацию, сейчас практически все силы тратит на улучшение тестирующей системы. Пока мы не убедимся, что для слушателей эта система кардинально изменилась, выпускать 4й и 5й курсы в production не можем.
Работа над 4м курсом идет. Планируем отправить в релиз в течение ближайших месяцев.

О каких курсах речь можно уточнить?

спасибо за ответ. на почту мне с марта перестали отвечать о сроках. должгы были бету отправить на тест в марте еще.

Всем привет. После обновления до HDP 2.6.5 почему-то не запускается драйвер на всех нодах, кроме одной. говорит

 File "/test/script.py", line 3, in <module>
    sc = SparkContext()
  File "/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/context.py", line 119, in __init__
  File "/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/context.py", line 181, in _do_init
  File "/usr/hdp/current/spark2-client/python/lib/pyspark.zip/pyspark/context.py", line 279, in _initialize_context
  File "/usr/hdp/current/spark2-client/python/lib/py4j-0.10.6-src.zip/py4j/java_gateway.py", line 1428, in __call__
  File "/usr/hdp/current/spark2-client/python/lib/py4j-0.10.6-src.zip/py4j/protocol.py", line 320, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NoSuchMethodError: org.apache.hadoop.yarn.proto.YarnProtos$ResourceProtoOrBuilder.getMemory()
....

не подскажете в какую сторону копать?

java.lang.NoSuchMethodError - конфликт версий или подсунута не та версия либы

Книжка вышла на русском

На всякий случай , купон - Spark

Спасибо, купил.

А не подскажете истории успеха Spark без HDFS/Hive/S3 в качестве источника данных (то есть не когда Spark Streaming пишет куда-то не в Hadoop)? Я что-то навскидку не могу нагуглить.

А можешь уточнить вопрос?
Spark применим, когда нужны вычисления над большим объемом данных, эти данные надо где-то хранить. Поэтому внизу есть слой распределенного хранилища, аля HDFS или S3,