ЕГ
Мощно)
Size: a a a
2021 April 27
N
Сколько трифт-серверу 3 дать xmx? Он на -Xmx16g орёт, что java.lang.OutOfMemoryError: GC overhead limit exceeded. Есть может у кого рабочий набор опшонов?
GP
мож ты что большое кормишь ему
ЕГ
Select * from c360)
ЕГ
Без лимита
ЕГ
N
Ну за 1 день данные попросил limit 100. Не должно быть овердофига.
ЕГ
А параметры спарк-сессии для трифт-сервера подкручивал? Там по дефолту вроде мизер выдаётся
ЕГ
Driver memory 512mb что ли..
ЕГ
Может в неё упирается
GP
Ну прежде чем крутить настройки разберись где узко
N
Это ошибка не сессии, а самого процесса ждбц-бриджа.
GP
мож ты туда реально суёшь 30 гигов непойми чего
N
Там-то норм все напихано, сам джоб отработал.
ЕГ
Лимит 100 кстати тоже может быть большой, если в нём есть анлимит строки (aka clob)
N
Нету, только жысон километровый
ЕГ
Ну тоже вариант)
ЕГ
Можно оценить для начала длину этого жисона, вместо строки length вывести, если будет что-то очень большое, то может как раз оно и не влезает, бывали случаи)
2021 April 28
MK
Что можно использовать для мониторинга/профилирования работы spark? Особенно интересна динамика потребления различных видов памяти на драйвере/экзекьюторах.
ПФ
ну мониторить можно как обычно графаной с прометеем, кажется