M
да, я к тому, можно ли этот паркет как-то по-другому сложить без сильного оверхеда
Size: a a a
2020 October 30
M
перед загрузкой
JF
да, я к тому, можно ли этот паркет как-то по-другому сложить без сильного оверхеда
я не влияю на данные, которые мы читаем
M
можно попробовать где-нибудь перед шаффлингом нужны repartition сделать чтобы быстрее было
JF
вот смотрите, грузим паркет, сколько этого паркета, сколько партиций, есть ли там бакеты, можно их как-то использовать
а в делаем манипуляции вообще кладезь всего что можно сделать
а в делаем манипуляции вообще кладезь всего что можно сделать
сколько этого паркета => террабайты, все по-разному патиционированы, записаны из разных топиков
JF
можно попробовать где-нибудь перед шаффлингом нужны repartition сделать чтобы быстрее было
перед каунтом?
JF
разбить df и посчитать частями, потом просуммировать?
M
кстати, это у вас 200 миллисекунд таймаут получается?
ИГ
А манипуляции, о которых вы говорите, подразумевают шафл сами? Сейчас попробовал и countApprox мне данные не перемешивал - всё считалось в одном Stage
JF
Игорь Гомановский
А манипуляции, о которых вы говорите, подразумевают шафл сами? Сейчас попробовал и countApprox мне данные не перемешивал - всё считалось в одном Stage
замена значений и фильтрация
M
можете попробовать поставить таймаут подольше, скажем на 10 минут (или что-нибудь приемлемое, в зависимости от общего размера данных например), и смотреть initialValue
JF
Игорь Гомановский
А манипуляции, о которых вы говорите, подразумевают шафл сами? Сейчас попробовал и countApprox мне данные не перемешивал - всё считалось в одном Stage
в логах падает именно с шафлом
JF
можете попробовать поставить таймаут подольше, скажем на 10 минут (или что-нибудь приемлемое, в зависимости от общего размера данных например), и смотреть initialValue
10 минут на каждый каунт у меня одна джоба вместо часа будет бежать несколько часов :(
JF
не вариант
M
10 минут на каждый каунт у меня одна джоба вместо часа будет бежать несколько часов :(
а сколько обычно этот каунт выполняется?
JF
а сколько обычно этот каунт выполняется?
от 3 до 7 минут
JF
обычно 3-4
M
ну вот поставьте 4
M
или 3)
M
и запрашивайте initialValue