K
тоже все на все
Ну ты можешь выбрать тогда прямой путь для записи каждой партиции
Size: a a a
2021 March 18
G
А чем mv не угодил-то?
запускать execute shell ?
K
Тогда будет технологичнее
AK
Ну да, напиши шельник, шо такого?
K
Да подождите вы
G
Тогда будет технологичнее
Запись 100 партиций в цикле?
EC
Ээ, какой шельник, в ычего
K
Запись 100 партиций в цикле?
Да
G
А если свалюсь на пол пути?
G
Я уже думал об этом
K
А если свалюсь на пол пути?
Перезапустишь джлбу
G
но мне показалось это как то не технологично
K
но мне показалось это как то не технологично
Ну щельник запускать не технологично
G
шельник само собой отметен сразу
G
я думал fs.rename
K
А так ты можешь через spark.sparkContext получить доступ к hdfsFileSysyem объекту
AK
Ну вы ещё отдельный кластер соберите под эту задачу)))
K
шельник само собой отметен сразу
Но ты можешь запускать рил любую версию спарка на ярн кластере
K
Я без шуток
K
Достаточно чтобы на клиентской ноде была