Телеграмм чат группы moscowspark страница 602

Ну это самый простой и самы НЕ безопстный способ. А если я удалю а новые партиции не создам? Я хотел с начала убедиться что у меня новые партиции загрузились и только потом удалять

источник

22:22пожаловаться #9

AA

Aleksandr Aleksandro... in Moscow Spark

Gev

Ну это самый простой и самы НЕ безопстный способ. А если я удалю а новые партиции не создам? Я хотел с начала убедиться что у меня новые партиции загрузились и только потом удалять

Ну тогда просто запиши в сторонку, потом также циклом удали старые и замувь. Мув быстро выполняется

источник

22:24пожаловаться #10

G

Gev in Moscow Spark

Aleksandr Aleksandrov

Ну тогда просто запиши в сторонку, потом также циклом удали старые и замувь. Мув быстро выполняется

Ага. Я так по сути и собирался - только тут тоже проблема - как смувить? Чем? fs.rename грузит так же все на все

источник

22:25пожаловаться #11

AA

Aleksandr Aleksandro... in Moscow Spark

Можно ещё получить список партиций и на уровне драйвера запись распараллелить и писать в цикле сразу оверрайт каждой конкретной партиции.

источник

22:27пожаловаться #12

G

Gev in Moscow Spark

Aleksandr Aleksandrov

Можно ещё получить список партиций и на уровне драйвера запись распараллелить и писать в цикле сразу оверрайт каждой конкретной партиции.

Оц. ну вот так вот точно у меня не получиться - выйдет бесконечный цикл по времени так как данных не мало

источник

22:28пожаловаться #13

AA

Aleksandr Aleksandro... in Moscow Spark

Не бесконечный, они же все параллельно будут писаться, если фэир шедулер включишь. ещё и репартиционировать каждую партицию можно нормально относительно количества данных

источник

22:30пожаловаться #14

N

Nail in Moscow Spark

А чем fs.delete и fs.rename по списку партиций не подходит?

источник

23:13пожаловаться #15

N

Nail in Moscow Spark

Вряд ли можно придумать что-то быстрее

источник

23:15пожаловаться #16