GP
Size: a a a
2021 April 30
GP
или ты по логам гц хочешь понять скок памяти дать?
ПФ
А, это правда, часто вообще не нужен
GP
да почти никогда не нужен
ПФ
Но по логам Гц можно понять про природу обработки данных и про память
GP
он нужен или прям ясно что все уже перепробовано и там прям детали нужны
GP
ну тип видно что он сидит в паузе дофига
ПФ
Или хочешь выиграть 5% времени
GP
GP
или у тя там специфика такая что много мусора у тя много памяти и твой гц в паузах сидит долго
ПФ
Кхм-типизированные датасеты-кхм.
ПФ
Есть немало шансов что там в функциях постоянно генерируются новые объекты
PK
@renardeinside поправит, но Daniel Tomes в своём легендарном докладе упоминал, что датабрикс учит модели на оптимизацию ресурсов, но пока не выходит каменный цветок
РД
Привет, кто нибудь сталкивался с подобной ситуацией:
Поднимаешь спарк сессию с динамик аллокейшн, ограничивая аппетиты -все ок, сессия отжирает положенное в конфиге, но если в этой же спрак сессии подключаешься через jdbc к ораклу, чтоб прочитать таблицу, то в этот момент сессия отжирает абсолютно все свободные ресурсы на кластере, игнорируя конфиг
Почему так может быть?
Поднимаешь спарк сессию с динамик аллокейшн, ограничивая аппетиты -все ок, сессия отжирает положенное в конфиге, но если в этой же спрак сессии подключаешься через jdbc к ораклу, чтоб прочитать таблицу, то в этот момент сессия отжирает абсолютно все свободные ресурсы на кластере, игнорируя конфиг
Почему так может быть?
ДМ
Можно, но тут все упрется в то, что пространство параметров и внешних факторов слишком велико, чтобы в одну модель запихать. Хотя что-то простое можно запилить и потом на практике посмотреть, помогает ли такое
ДМ
А можно ссылку, сходу что-то не гуглится
ЕГ
Сколько раз подключались к ораклу по jdbc (очень много) - всё было ок
ПФ
Да не, конечно нейроночка нужна, а не бустинг
ДМ
С сеточкой все еще сложнее будет)