там есть некоторые ограничения данного подхзода

Да, для стриминговых приложений так и сделано, деплоим на кластер яйцо с нашим кодом или отдельный скрипт. Только нужно помнить что питонячее окружение и либы должны соответствовать.

Мы некоторое время так и жили, сделали сборку клоудеры со spark2 и пока тестировались переключали $SPARK_HOME

Всем спасибо за информацию!

Извините, добавлю тут немного, вдруг пригодится.  Наверно, можно ещё на такой вариант посмотреть: берёте новый дистрибутив спарка и кладете на edge node, внутри описываете конфиг spark-defaults.conf и используете там spark.yarn.jars или archive, указывая путь на hdfs, куда кладете директорию jars из дистрибутива спарка. Из нового же дистра локально используете уже новый spark-submit. И всё - вы на новых зависимостях. Если хочется ещё красоты, то можно симлинки клаудерные для spark-submit, spark-shell переопределить на новый дистр на edge node.

Эй, чат. А какой самый простой и дешевый способ поднимать on-demand spark-кластера в облаке? Ну, кроме, databricks

Отвечает @pomadchin про Амазон

Databricks дёшево не было, по-моему, никогда почти.

Да, я имел в виду простоту и забыл про стоимость )

AWS (EMR) существенно дешевле Databricks, тем более что Databricks включает плату за облако, где разворачивается. Да и запускать EMR несложно. Другое дело, что когда речь идет о long-term начинают проявляться чудеса vendor-lock.

+1 за EMR

А что по Azure? У них тоже есть варианты, или Майкрософт уступает амазонки?

Амазону

У них есть hdinsight https://docs.microsoft.com/ru-ru/azure/hdinsight/hdinsight-component-versioning?toc=%2Fru-ru%2Fazure%2Fhdinsight%2Fspark%2FTOC.json&bc=%2Fru-ru%2Fazure%2Fbread%2Ftoc.json

А в чем это проявляется в случае амазона, например?

Дерьмище

Я пробовал авс ажуру и гугл; два последние ещё с кубером

Из всех ток авс работает, остальное надо напильником постоянно

Если тебе нужно он деманд, то там можно споты поднимать на емр тераформом

м3.хларж за 6 центов к примеру