MK
Все зависит от объемов текстов. Если текстов не очень много, то и lsi будет эффективнее против того же lda
Да, в этом и специфика, документов немного, они короткие и довольно схожие, нужен изящный анализ
Size: a a a
2018 April 23
AF
Да, в этом и специфика, документов немного, они короткие и довольно схожие, нужен изящный анализ
Вот тут и можно нарваться на то, что результаты от более навороченных методов окажутся хуже по сравнению с простыми
MK
Вот тут и можно нарваться на то, что результаты от более навороченных методов окажутся хуже по сравнению с простыми
Понимаю, но все таки простые методы восновном работают с векторными представлениями, насколько я понимаю, а здесь хотелось бы возможно что-то уже обученное, или ещё лучше обученное тематически
В
Есть подход с другой стороны http://www.machinelearning.ru/wiki/index.php?title=BigARTM
MK
Василий
Есть подход с другой стороны http://www.machinelearning.ru/wiki/index.php?title=BigARTM
Хм изучу, спасибо
AF
Василий
Есть подход с другой стороны http://www.machinelearning.ru/wiki/index.php?title=BigARTM
BigARTM — открытая библиотека для тематического моделирования больших коллекций текстовых документов. А в задаче, для которой обсуждались методы, ситуация с коллекцией другая: Да, в этом и специфика, документов немного, они короткие и довольно схожие, нужен изящный анализ
В
Тогда шинглы, как в Антиплагиате. Но только как один из вариантов анализа.
TY
Насколько короткие тексты?
MK
До 20 слов
MK
С фильтрацией ещё меньше
TY
С большой вероятностью зайдёт даже сумма ворд2веков
TY
И близость суммы к характерным словам с каждой стороны
TY
Это если ансупервайзд нужен
MK
И близость суммы к характерным словам с каждой стороны
Характерные слова это самое сложное наверно
Насчёт суммы вордтувеков тоже читал
Насчёт суммы вордтувеков тоже читал
TY
Народ, что порекомендуете по задачке. Нужен корпус текстов, каждый текст должен иметь облако тэгов, определенное вручную. Тэги такие:
1. положительный / отрицательный по эмоциям текст
2. агрессивный
3. добрый/ злой
4. призыв - отсутствие призыва
и т.п.
Можно на английском, но лучше и на русском.
кто нитбудь видел подобное?
1. положительный / отрицательный по эмоциям текст
2. агрессивный
3. добрый/ злой
4. призыв - отсутствие призыва
и т.п.
Можно на английском, но лучше и на русском.
кто нитбудь видел подобное?
TY
Так вот эти и подойдут
TY
Кроме последнего
TY
С призывами не знаю, как ансупервайзд сделать
2018 April 24
D
С большой вероятностью зайдёт даже сумма ворд2веков
+++ так и делал, неплохо получалось
t2
models.doc2vec – Deep learning with paragraph2vec
not so deep, actually, внутри даже нейронки нет