OI
org.apache.spark.mllib.linalg.SingularValueDecomposition[org.apache.spark.mllib.linalg.distributed.RowMatrix,org.apache.spark.mllib.linalg.Matrix]
видимо rdd
видимо rdd
Но судя по доке, это не RDD. Но из него можно вектор RDD вытащить
Size: a a a
2020 May 11
PK
Если RDD, то просто persist() со StorageLevel DISK_ONLY.
Persist в директорию контейнера запишет и ярн ей подчистит по окончанию джобы
AS
да там не rdd-же
PK
Результат svd - это три спарснутых матрицы, их поколлектить можно
AS
Но судя по доке, это не RDD. Но из него можно вектор RDD вытащить
тащить отдельно все 3 компонента, сохранять отдельно?
а как обратно?
а как обратно?
AS
ага, обратно есть конструктор, как-то не додумали товарищи
OI
Persist в директорию контейнера запишет и ярн ей подчистит по окончанию джобы
Да.... тогда похоже только collect(). Или global permanent view создать.
AS
видимо придется через collect и надеяться что на драйвере хватит памяти, с другой стороны она же посчиталась
2020 May 12
JF
привет всем, посоветуйте, пожалуйста, можно ли обойтись вообще без удаления. Ситуация следующая: нужно копировать данные с нашего с3 в клиентский каждый час как можно быстрее, однако клиент против того, чтобы давать нашему авс пользователю права на удаление (нужно без использования Delete Request), но Спарк создает _temporary во время работы даже, если просечено fileoutputcommitter.algorithm.version 2 + к тому же я использую сервис очистки: перед запуском джобы стартую процесс клининга "папок" без _SUCCESS файла. Опять таки дилит. Заранее благодарю за помощь.
M
привет всем, посоветуйте, пожалуйста, можно ли обойтись вообще без удаления. Ситуация следующая: нужно копировать данные с нашего с3 в клиентский каждый час как можно быстрее, однако клиент против того, чтобы давать нашему авс пользователю права на удаление (нужно без использования Delete Request), но Спарк создает _temporary во время работы даже, если просечено fileoutputcommitter.algorithm.version 2 + к тому же я использую сервис очистки: перед запуском джобы стартую процесс клининга "папок" без _SUCCESS файла. Опять таки дилит. Заранее благодарю за помощь.
а спарк где запускается?
M
EMR?
JF
не-а, на YARN
MV
А если на уровне фс копировать? 🙂
M
не-а, на YARN
так YARN тоже где-то крутится, если есть ярн, то есть и HDFS
M
сохраняйте туда, потом копируйте на S3
JF
боюсь, что получится сильно дорого, так как мы используем споты + копируме терабайты данных. Сейчас думаю использовать distcp как вариант.
AS
боюсь, что получится сильно дорого, так как мы используем споты + копируме терабайты данных. Сейчас думаю использовать distcp как вариант.
мне казалось что distcp тоже создает временные файлы
M
боюсь, что получится сильно дорого, так как мы используем споты + копируме терабайты данных. Сейчас думаю использовать distcp как вариант.
мы вроде так делаем, и данных тоже не так мало) как минимум это решает проблему удалений и достаточно эффективно
M
core инстансы у вас тоже есть наверняка