IR
SVM или если хочется нейросетей то простой MLP
Я читал в инете что naive bayes лучше всего подходит. Но на деле оказалось он полный тормоз
Size: a a a
2020 September 02
AS
Ilkin Ramazanov
Я читал в инете что naive bayes лучше всего подходит. Но на деле оказалось он полный тормоз
ну так на каком этапе тормоза?
E
Ilkin Ramazanov
Скорость применения
а вообще возьми Sklearn и попробуй все модели для классификации с измерением времени тренировки и времени классификации, и сравни
AS
там самое тяжело это сегментирование слов
IR
ну так на каком этапе тормоза?
Обучение
AS
по ходу для всех вариантов что тут предлагается
AS
нужно сегментировать слова
AS
Ilkin Ramazanov
Обучение
профилировать обучение нужно
E
Ilkin Ramazanov
Я читал в инете что naive bayes лучше всего подходит. Но на деле оказалось он полный тормоз
нет, наив байес очень простой для текста, его можно за бейслайн взять
AS
Ilkin Ramazanov
Обучение
там кроме сегментирования слов нет тяжелых вычислений
IR
Ясненько. Спс за помощь:)) попробую немного с данными поиграться
IR
Наверное проблема в них
E
Ilkin Ramazanov
Я читал в инете что naive bayes лучше всего подходит. Но на деле оказалось он полный тормоз
предобработка с нормализацией текста + TF-IDF векторизация + SVM нормальный вариант для текста. Еще можно попробовать FastText и их модель собственную для классификации
SP
Привет! Друзья, а какой у нас есть датасет для выражения согласия/несогласия, для русского языка. Самый глупый классификатор обучить.
DD
Ilkin Ramazanov
Ребят какие модели лучше всего подходят для классификации текста? Важна скорость
Код для питонячьего sklearn:
make_pipeline(CountVectorizer(), LogisticRegression()). Иногда этот бейзлайн сложно большими нейронками по качеству побить)AS
предобработка с нормализацией текста + TF-IDF векторизация + SVM нормальный вариант для текста. Еще можно попробовать FastText и их модель собственную для классификации
нет, оверхед после сегментирования слов больше чем для БАйеса, мы же скорость рассматриваем
E
да, я согласна про скорость, но и качество заметно лучше
IR
предобработка с нормализацией текста + TF-IDF векторизация + SVM нормальный вариант для текста. Еще можно попробовать FastText и их модель собственную для классификации
я почти также делал только использовал bag of words instead of td-idf
E
в простых моделях в итоге самый долгий этап - это обработка текста
IR
А как вообще понять что лучше юзать bag of words or tf idf?