Ну что б так получилось , но только у меня тысячи переменных

Если две переменных коррелируют между собой сильно (ну, например, с коэффициентом в 0.99), то они выражают одно и то же, т.е. их вектора в пространстве направлены с очень маленьким углом ==> их можно схлопнуть для уменьшения размерности, например.

Обычно я сначала выявляют группы сильно коррелирующих переменных, а потом схлопываю их PCA. Меньше размерность пространства ==> легче провести разделяющие плоскости или ещё там что-нибудь, да и вычислений меньше, что всегда лучше.

А что если оставлять только 1 переменную из такой группы? Как сильно это влияет на модель?

Привет. Как вы обрабатываете веб контент? есть какие-то инструменты для того, чтоб очищать контент от хмтла и прочих элементов меню страницы

Scrapy?

спасибо. гляну его

Всем доброго времени суток! Передо мной стоит задача написать проект для распознавания пола человека по изображению (2 недели на решение). Я только начинаю осваивать машинное обучение. Может кто поделиться полезными ссылками для изучения этого вопроса?  Заранее извиняюсь, если я ошибся чатом

По лицу?

да

Спасибо

Ребят, вопрос, а что если найти сильно коррелирующие переменные с целевой переменной и оставить только их, и потом на них построить модель нейронной сети ? Что тогда будет ? Будут ли какие-то проблемы? И наоборот , предсказания получаться хорошими ?

Или например в ансамблевых моделях это может помочь ?

Технически, корреляция говорит нам, насколько вектора переменных сонаправлены и насколько между ними острый угол. Однако, корреляция ничего не говорит о влиянии, то есть, эти две переменные могут быть сонаправлены почти из-за чего угодно.
Если пробовать искать обладающие наибольшей предиктивной силой по отношению к целевой переменной предикторы, то, я думаю, будет более эффективно использовать коэффициенты частных корреляций, которые убирают из коэффициента примесь возможного влияния других измеренных нами переменных.  

А, вообще, лучше использовать тогда BORUTA алгоритм, он позволяет достаточно эффективно находить сильные переменные.

Так или иначе обычно эффективнее, если предикторы имеют хоть какую-то корреляцию с целевой переменной.

Спасибо...
А есть ли библиотека, которая находит коэффициенты частых корреляций, чтобы...исключить влияние других переменных смешанных ?

Ну да....попробую botuta..

Boruta долго работает на 200 объектах и 1000 признаках ?

Наверняка есть. Попробуйте загуглить: "partial correlation python". Я преимущественно пишу на R.