Открыт прием заявок на онлайн-хакатон OPEN SPACE от банка «Открытие» с призовым фондом 600 000 рублей 🚀

Тебя ждут три дня онлайн-хакатона с 23 по 25 октября👨🏻💻👩🏼💻
— 48 часов кодинга
— интересные треки
— обратная связь от экспертов на каждом этапе.  

🎯 Проверь свои силы и прими участие в разработке цифровых продуктов для банка:   openspace.codenrock.com

Коллеги, осень перестаёт быть скучной: онлайн-хакатон ^^

Если подскажете, на какую тему погуглить, буду благодарен)

One hot encoding инпута, one hot encoding аутпута. Посередине что попало, например, перцептрон обычный. И слоев, слоев побольше!!!

Или ещё вариант: нанять чела и он сам все сделает

Спасибо 👍 пока вопрос не в реализации, а в изучении подходов)

По запросу «классификация нейросетью» много материалов, и в целом материалы сходны по идее и подходу

Где-то даже видел пошаговый алгоритм построения классификатора на основе нейросетей

Пока гугл меня направил в сторону fastText классификатора и LDA.. Это верное направление?)

Можно попробовать и fasttext

Эти fasttext, lda, нейронки - это всё методы. Я бы начинал не с них, а с более конкретной постановки задачи: есть ли заранее известные категории? Есть ли размеченные данные? Как мы будем отличать плохую категоризацию от хорошей? По каким критериям будем вообще выбирать модель?

Заранее известных категорий нет, нужно кластеризовать по неизвестным.. Плюс вопрос, как решить проблему с синонимами, одно и то же может называться по разному.. И наоборот одно и то же слово может иметь разный смысл

С синонимами проблему решает Word2vec я так понимаю?

W2V, FT,  и все остальные предобученные нейронки, да

Да

Я бы тебе предложил сначала дать людям вручную тегов понаписать, оценить качество этих ручных тегов, и придумать потом алгоритм оценки качества (и, возможно, разметить "золотую" тестовую выборку). И дальше перебирать 100500 разных подходов, уже обладая критерием их сравнения, которому ты доверяешь.

Ну допустим для примера, что теги - это названия и описания сообществ, в которых состоит пользователь соц сети.. Обязательно ли размеченную выборку иметь, что вот такие-то названия сообществ - относятся к категории Фитнес или можно просто как-то их кластеризовать в виде точек на плоскости и потом уже вручную явным сгусткам точек дать название?

Это не решит проблему выбросов и качества, если визуализировать и вручную выделить сгустки?

Да, по такому пути пойти можно.
Для выделения сгустков хорошо подходят алгоритмы кластеризации типа dbscan, или, если данных очень много, то birch (он классно масштабируется). Кластеризовать можно средние словные эмбеддинги по W2V или fasttext (эти модели скачиваются с rusvectores), для коротких инпутов типа твоих этого будет вполне достаточно (для более длинных лучше подходят sentence encoders типа USE или Laser).

Ок, всем спасибо 👍 буду копать)

Здравствуйте! Подскажите, почему такой код выдает ошибку

big_frame = big_frame_temp.loc[big_frame_temp.mobile.str.isnumeric()]