JS
ясно... а фильтровать их только вручную...
Size: a a a
2020 May 12
JS
по частотности... хотя можно же - фильтрануть по tf-idf, уже после LDA? или до LDA
AB
Где биграммы там и триграммы. Все ограничено ничем ))) Моим заказчикам зороши зашли наборы униграмм в описании. Фильтрацию можно сделать через словарь частей речи.
AB
по частотности... хотя можно же - фильтрануть по tf-idf, уже после LDA? или до LDA
Да, надо фильтровать до tf-idf
AB
Можно просто по частоте
AB
Я так и делаю
JS
это да, как очистка... а я о том что tf-idf же делает акцент на специфичные для документов термины... а LDA - на частотах, и подумалось - а что если перед LDA фильтрануть n-граммы по tf-idf
AB
Качество субъективно не падает, если оставить 80% квантиль токенов по частоте
AB
это да, как очистка... а я о том что tf-idf же делает акцент на специфичные для документов термины... а LDA - на частотах, и подумалось - а что если перед LDA фильтрануть n-граммы по tf-idf
Это не воспрещается никоим образом. Просто снимаешь/уменьшаешь размерность задачи.
JS
благодарю за опыт )
AB
Только рад! Темы получаются осмысленные даже на таком месиве как новости
JS
класс, исследовательский зуд только растет ))
AB
Кстати я пробовал удалять разный процент низкочастотных токенов. Если удалять мало, начинают выявляться темы про всякие Новые айфоны, Собчак
AB
Если половину удалить, то уже посолиднее. Путин правительство, Сирия. Тут надо продуктово подумать, что важнее , жирные темы или детальные темы
AB
Сейчас тема про коронавирус в 10 больше всех остальных, причем я чищу 75% токенов
AB
Там вот такие были визуализации, которые в реальном времени обновлялись. Собственно "волны" -- это и есть топики из LDA. Мы это во время ежегодных посланий Путина гоняли.
Интересно сделали
AB
Я щас тоже покажу как успня в реалтайм. Но там не граф и не LDA, а SVD+rotation. Факторный анализ. Отдельная тема)
AB
Немножко закрытая инфа... Тут сравнение ещё с другими информ.агентствами по важным показателям. Раз в минуту обновляется. Просим 250 сайтов новостей для этих тем
AB
Все на r shiny