Дважды за неделю

Ну просто у питона много своих больших проблем. Не от хорошей жизни люди вон тащят в питон типизацию, абстракции и т.д через расширения.

DS это все же не только в Jupyter fit-predict делать. А когда дело доходит до прода, jar, который еще и проверяется на этапе компиляции начинает выглядеть значительно лучше.

Положа руку на сердце, в MLLib типы не спасают, все равно валиться будет на рантайме

А Frameless в ml это дикая боль

Да простейшая опечатка в названии поля приведёт к рантайм эррору, какая бы ни была типизация в спарк-коде)

какая бы ни была типизация в спарк-коде)

нет это не так

для этого например и есть Dataset

и для этого есть frameless

просто это не всегда удобно

но если совсем не гавнокодить то типы спасают

В питоне простая опечатка в редкой else-ветке цикла приведет к ошибке потом, уже в проде :)

Не зря люди типизацию в питон тащят.

Ну в проде очев надо типы прописывать, а в тетрадочке сколько хочешь можно играться

Sparklyr симпатичнее и полнее, чем детище датабрикс

Все продал, все что не мл перепишу на петон; моя серебряная пуля

Ну это детали)
Я давно туда не залезал

Всем привет.
Хочу создать sparkListener с конструктором с параметрами.
Можно ли как-то его зарегистрировать до старта аппликейшена. sparkContext.addSparkListener() не годится/работает. Scala

Добрый день, чатик.
Вы когда запускаете аппликейшн (spark-submit) с virtualenv на Sparke, используете:
1.--archives environment.tar.gz#environment и PYSPARK_DRIVER_PYTHON, PYSPARK_PYTHON?
(то есть отправляете  environment по нодам)
2. или у вас уже разархивирован _virtualenv_ на нодах (через ансибл например), и просто прописываете путь: spark.pyspark.virtualenv.bin.path, spark.yarn.appMasterEnv.PYSPARK_PYTHON и тд?
(то есть заранее установлен, только запускаете)
-
вроде как вариант с отправкой tar выглядит красиво?
но я вообще ни разу так не делал...

Через докер