Size: a a a

2021 March 18

K

KrivdaTheTriewe in Moscow Spark
Gev
только все на все
Да
источник

K

KrivdaTheTriewe in Moscow Spark
Евгений сча найдет опцию
источник

K

KrivdaTheTriewe in Moscow Spark
Или Я через час
источник

EC

Eugene Chipizubov in Moscow Spark
Gev
Ииии. Я обыскался такой опции. Для Spark 2.2
Dynamic partition overwrite mode was added in Spark 2.3
источник

G

Gev in Moscow Spark
имнно
источник

ПФ

Паша Финкельштейн... in Moscow Spark
отакот
источник

EC

Eugene Chipizubov in Moscow Spark
Чот нету длЯ 2.2
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А ты на 2.2м кластере не можешь разве фэтджар с 2.3 спарком запустить?
источник

K

KrivdaTheTriewe in Moscow Spark
Gev
Вот так. не работает overwrite для части партиций
Ну тогда смотри , поменяй Спарк на 2.4 )
источник

K

KrivdaTheTriewe in Moscow Spark
Но
источник

K

KrivdaTheTriewe in Moscow Spark
Есть другой способ
источник

ПФ

Паша Финкельштейн... in Moscow Spark
2.3→2.4 не работает, а вот 2.2→2.3 может и сработать
источник

K

KrivdaTheTriewe in Moscow Spark
Паша Финкельштейн
2.3→2.4 не работает, а вот 2.2→2.3 может и сработать
Да то 2.4 тож работает
источник

EC

Eugene Chipizubov in Moscow Spark
Ему надо похоже на уровне hdfs свою подменяЛку сделать
источник

K

KrivdaTheTriewe in Moscow Spark
И три
источник

G

Gev in Moscow Spark
Да есть план переехать на новый кластер. там уже 2.4.5. но пока надо пожить на этом
источник

G

Gev in Moscow Spark
Eugene Chipizubov
Ему надо похоже на уровне hdfs свою подменяЛку сделать
Ну вот я и начал с этим биться так и тут проблема
источник

K

KrivdaTheTriewe in Moscow Spark
Gev
Да есть план переехать на новый кластер. там уже 2.4.5. но пока надо пожить на этом
Доступ к эйдж ноде по ссх есть ?
источник

G

Gev in Moscow Spark
тоже все на все
источник

AK

Alena Korogodova in Moscow Spark
А чем mv не угодил-то?
источник