JF
Size: a a a
2020 October 30
AS
а когда делаете union колво партиций у датафреймов совпадает?
JF
а когда делаете union колво партиций у датафреймов совпадает?
не проверяла
AS
в вашем случае я думаю именно там происходит шафл
JF
я убрала сейчас полностью вызов этой функции - ООМ нет
JF
все ранится прекрасно, но очень долго :(
JF
можно поставить настройку maxRecordsPerFile, чтобы писать нужное число строк в файл
попробовала поставить
JF
одна такая джоба ехала 37-40 минут, сейчас уже больше 1 часа 20 минут
AS
интересно получается
AS
@janefrankenstein может раз у вас паркет, то не приводить к rdd (я правда тестировал на orc) а считать count?
JF
тоже как вариант :)
JF
узкое место я нашла, главное, разобрать детали
AS
узкое место я нашла, главное, разобрать детали
вырезай это countApprox
JF
AS
M
finalValue вроде бы ждёт пока не будет точный результат по факту равный count
AS
finalValue вроде бы ждёт пока не будет точный результат по факту равный count
да, он блокирующий, но по смотри как выглядит поведение с initialValue
M
Так у вас confidence стоит 0, это вообще никаких гарантий не даёт
JF
я оставляла 0.9 confidence и тоже было 0
M
я оставляла 0.9 confidence и тоже было 0
У вас timeout 200 миллисекунд