ПФ
Нейроночка вот может основываться на нескольких параметрах: gc, шафлы и потребление памяти
Size: a a a
2021 April 30
ЕГ
Вообще по умолчанию спарк читает из реляционок в 1 поток, если не задать numPartitions, колонку для партицированного чтения и её min и max
ЕГ
Кидай скриншоты stage чтения из оракла, посмотрим, что за дичь
ДМ
Сеточка любит когда парамтеров и в целом данных очень много. Бустинг побыстрее обучится, да и интерпретируемость хоть какая-никакая будет
ПФ
На бустинг у тебя времени не хватит - тебе же реально придётся модель гонять
РД
Да, сейчас
ПФ
А в сеточку ты можешь собранные данные подавать
ДМ
Ты также и в бустинг можешь подавать
ПФ
А данных будет много
ДМ
Инференс у бустинга шустрее, чем у сеточки все-таки
ПФ
Хм. Тогда да, наверное
ДМ
Если соберешь данные, заливай куда-нибудь, можно будет их повертеть)
ПФ
Так у меня меньше всех данных есть - у меня же ничего серьёзного на спарке нет
ЕГ
А нейронка пофиксит баг, когда драйвер спарк-сессии из-за нехватки оперативы уходит в бесконечный GC, при котором отжирает весь проц?)
ПФ
А часть всего ещё надо придумать как собирать
DB
Спорно. Сеточки разные есть и некоторые можно очень хорошо заточить на ЦПУ
ПФ
Я надеюсь что это будет просто статистическим выбросом, который не обработается
ДМ
Такое можно детектить, даже без сеточки. Или по метрикам не увидишь это?
ЕГ
Не, не, вы не поняли прикола)
DB
Есть же GC киллер по тригеру "GC ovehead limit exceeded"