ДМ
Так и делаем сейчас по сути
Size: a a a
2021 April 29
R
ну и обычно из 10^4 столбцов 10-20 имеют вообще хоть какой-то вес в модели, а все остальное просто длинный хвост с мусором / шумом
PK
Да большинство так и делает. Проблема только в том, что пайплайн обучения и пайплайн инференса превращается в две разные сущности. Их надо поддерживать, синкать. Можно кастомные эстиматоры для spark ml написать, но тоже поддерживать придется. А хочется ведь счастья и лениться )
AZ
Что то надо сделать с числом колонок, может как-то свернуть в строки, вдруг это какой-то временной ряд в строку записанный, просто 10000 колонок ниоткуда не берутся
ДМ
Ну это все про специфику уже. Бывает, что да, пары фичей хвататет для хорошего качества. Но бывает надо из всего выжимать скор по сотым долям
PK
Более того бустинг на таком количестве фичей - это просто шляпа
R
так обычно получается переобучение 😂
ДМ
Вот как раз хочу фреймворк выбрать и весь зоопарк внутренних поделок под него подогнать
ПФ
Для этого господь дал нам карточки нвидиа, нет?
ДМ
Главное валидацию правильно настроить)
AZ
Господь их дал не для этого
PK
Ну нее, Дженсен максимум на апостола тенят, что уж тут душой кривить ))
R
вот вот, на указанных объемах как раз выглядит логичным использовать карточки с petastorm/horovod/etc
ПФ
Я смотрю в этом чате опасно шутить
ПФ
С таким настроением ты бегемотика не продашь
ДМ
Сети обучать это одно, а вот бустинги просто так не пообучаешь на разных машинках без всяких протоколов/обвязок
AZ
Из за таких людей с жирными матрица и, которым лень сэмплировать или факторизовать, карточки стоят как корова, для игроманов тяжёлые времена
R
кстати еще веселый трюк - добавить среди колонок одну со случайным шумом и посчитать f-importance любым быстрым алгоритмом
ПФ
Ну я надеюсь что хоть у Паши от этого зарплата растёт
AZ
Вы как начнёте копать, пишите мысли по ходу, полезные моменты подняли