JF
Size: a a a
2020 October 30
JF
я к тому, что замена finalValue на initialValue дала неправильное значение totalsize
AS
AS
0 я поставил когда прочитал про
If like me you need a single number and not an interval, than you'd better set the confidence to 0 (and thus get a single value for low and high).
If like me you need a single number and not an interval, than you'd better set the confidence to 0 (and thus get a single value for low and high).
M
Ну значит не работает 🤷♀ на этом мои полномочия всё
M
Видимо проще ставить обычный count
JF
Видимо проще ставить обычный count
что я и сделала - ООМ получаю
JF
если разберусь - отпишусь, спасибо всем огромное
2020 October 31
R
Коллеги, спарконосцы, возникла проблема. На кластере запускаю через скалу обычный джойн 3тбайтного файла к файлу с 500к id. Ожидаемый файл где то на 100гб. Но все время падает с out of memory. При этом на другом кластере все прекрасно работает. В чем может быть причина? ОЗУ драйвера уже увеличивал, не помогает.
ПФ
Коллеги, спарконосцы, возникла проблема. На кластере запускаю через скалу обычный джойн 3тбайтного файла к файлу с 500к id. Ожидаемый файл где то на 100гб. Но все время падает с out of memory. При этом на другом кластере все прекрасно работает. В чем может быть причина? ОЗУ драйвера уже увеличивал, не помогает.
GC одинаковый? Настройки хипа? Количество экзекьюторов?
R
Настройки по умолчанию. На том кластере, где работает экзекьюторов меньше
ПФ
Настройки по умолчанию. На том кластере, где работает экзекьюторов меньше
Тогда надо делать хипдамп и смотреть почему падает. HeapDumpOnOutOfMemoryError
ПФ
Настройки по умолчанию. На том кластере, где работает экзекьюторов меньше
Кстати,а машины одинакового размера? А то по умолчанию хип вычисляется от доступной на машине памяти
R
Беру паузу, в понедельник только смогу посмотреть, спасибо
ПФ
Беру паузу, в понедельник только смогу посмотреть, спасибо
Приходите ещё
2020 November 02
AS
Коллеги, спарконосцы, возникла проблема. На кластере запускаю через скалу обычный джойн 3тбайтного файла к файлу с 500к id. Ожидаемый файл где то на 100гб. Но все время падает с out of memory. При этом на другом кластере все прекрасно работает. В чем может быть причина? ОЗУ драйвера уже увеличивал, не помогает.
500k можно попробовать и забродкастить
AS
Ну значит не работает 🤷♀ на этом мои полномочия всё
причем я не смог найти юнит-тестов на эту функцию (есть только граничные случаи, например когда rdd пуст), где тонко там и рвется
N
Коллеги, спарконосцы, возникла проблема. На кластере запускаю через скалу обычный джойн 3тбайтного файла к файлу с 500к id. Ожидаемый файл где то на 100гб. Но все время падает с out of memory. При этом на другом кластере все прекрасно работает. В чем может быть причина? ОЗУ драйвера уже увеличивал, не помогает.
Вам нужно смотреть на план запроса.
N
Он может вам и броадкастит , но не ту таблицу. Скиньте сюда план через pastbin или что то такое
AS
Nikolay
Он может вам и броадкастит , но не ту таблицу. Скиньте сюда план через pastbin или что то такое
как он может бродкастить не ту таблицу, там с другой стороны 3 терабайта