ЕГ
Что именно?
Size: a a a
2018 July 25
ЕГ
Мы просто из жупайтера поднимаем сессии, можно тот же код из обычного питона вызвать
AC
Подскажите пожалуйста, кто cloudera hadoop использует? Как обновить версию spark с минимальными затратами?
DZ
Ну если у джобы кастомные зависимости?
DZ
Как енвы на кластере накатывать?
PK
Как енвы на кластере накатывать?
Я вот точно не помню, но мы в Рамблере яйца собирали и накатывали их через addfile. @akhlestin может подсказать лучше
AC
Подскажите пожалуйста, кто cloudera hadoop использует? Как обновить версию spark с минимальными затратами?
Наш data engineer говорит, что это очень сложно и не хочет делать. А версия у нас 1.6.0, это боль. Нужна нормальная библиотека mllib и ml.
NU
Евгений Глотов
Я только про spark.pyspark.virtualenv.enabled знаю
могу ошибаться, но кажется в HDP только такая примочка есть, клаудера игнорит это
NU
ну вот HDP же
ЕГ
Ну там спарк должен быть одинаковый
NU
да прям
ЕГ
Хоть без всякого хдп поставить
ЕГ
Должно работать
K
Наш data engineer говорит, что это очень сложно и не хочет делать. А версия у нас 1.6.0, это боль. Нужна нормальная библиотека mllib и ml.
говорить бизнессу, что вы не можете без нового спарка внедрять фичи
K
и тыкать на датаинженера
K
больше никак
K
спарк 2 ставится нормально в параллель в клаудере
AC
спарк 2 ставится нормально в параллель в клаудере
То есть штатная версия остаётся, просто наказывается новая?
K
То есть штатная версия остаётся, просто наказывается новая?
spark-submit2 появляется