Size: a a a

2018 July 25

DZ

Dmitry Zuev in Moscow Spark
Продублирую, сорян
источник

DZ

Dmitry Zuev in Moscow Spark
Переслано от Dmitry Zuev
Дратути
источник

DZ

Dmitry Zuev in Moscow Spark
Переслано от Dmitry Zuev
Нид хэлп
источник

DZ

Dmitry Zuev in Moscow Spark
Переслано от Dmitry Zuev
Как сабмитить питон
источник

DZ

Dmitry Zuev in Moscow Spark
Переслано от Dmitry Zuev
С virtual env
источник

DZ

Dmitry Zuev in Moscow Spark
Переслано от Dmitry Zuev
Чот все никак с примеров не работает
источник

PK

Pavel Klemenkov in Moscow Spark
Ну, кажется, что нужно в переменную окружения PYSPARK_PYTHON передать путь до питоши из venv. С анакондой, по крайней мере канает, а она, суть, venv на стероидах
источник

DZ

Dmitry Zuev in Moscow Spark
Ну вот что то никак
источник

DZ

Dmitry Zuev in Moscow Spark
Мож кто делает так
источник

ЕГ

Евгений Глотов... in Moscow Spark
Пайспарк питон нужно указывать дефолтный питон той версии, который надо разворачивать
источник

DZ

Dmitry Zuev in Moscow Spark
Или вообще это ок или не ок?
источник

ЕГ

Евгений Глотов... in Moscow Spark
А все зависимости в requirements.txt
источник

SK

Sergey Karpiy in Moscow Spark
А какая разница, откуда пайспарк запускать
источник

ЕГ

Евгений Глотов... in Moscow Spark
Можно зависимости экспортнуть из текущего энвайронмента
источник

ЕГ

Евгений Глотов... in Moscow Spark
Он на всех нодах должен быть по одному и тому же пути, чтобы запуститься
источник

DZ

Dmitry Zuev in Moscow Spark
А тема с --archive=venv.zip#venv
источник

DZ

Dmitry Zuev in Moscow Spark
?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я только про spark.pyspark.virtualenv.enabled знаю
источник

ЕГ

Евгений Глотов... in Moscow Spark
Щас вот у нас работают такие конфиги
источник

DZ

Dmitry Zuev in Moscow Spark
А как накатываете?
источник