K
Или докер образ
Size: a a a
2021 March 18
K
Со спарком
K
Он распределит джарники во времЯ старта по кластеру и отработает
G
Я боюсь как юы еще что то переписывать не пришлось. Переход на новую версию - такое
K
Я боюсь как юы еще что то переписывать не пришлось. Переход на новую версию - такое
Не должно
K
Легаси формат для паркета добавь и все
K
Конфигом
G
Это для меня уже сложно. Да и для такой простой задачи тоже кажется овермного движения?
K
Это для меня уже сложно. Да и для такой простой задачи тоже кажется овермного движения?
Ну мутить мувы тончо не оч простое решение
K
Лучше уж тогда в цикле писать
EC
Это для меня уже сложно. Да и для такой простой задачи тоже кажется овермного движения?
Это разовая задача, не будет кейса с вложенными партициями?
G
Понял. пошел циклы рисовать
G
Нет не разовая.
G
вложенных не будет
EC
ОйплЯ, тогда спарк hdfs api лучше использовать
ПФ
Не должно
K
Eugene Chipizubov
ОйплЯ, тогда спарк hdfs api лучше использовать
Можно мувнуть не то )
ПФ
А есть вариант вычитать всё что нуна, заюнионить с новым данными и выплюнуть в новое место
G
А есть вариант вычитать всё что нуна, заюнионить с новым данными и выплюнуть в новое место
Все что нужно - очень большое.
ПФ
Все что нужно - очень большое.
мэпредьюсом тогда