AW
Добрый день, я пишу пет проект анализа новостей, я выкачал лента.ру за два года , выкинул мусор, и прогнал через LDA. Получилась фигня. Как лучше выделить ключевые новости на таком массиве данных?
Size: a a a
2020 August 21
GF
Добрый день, я пишу пет проект анализа новостей, я выкачал лента.ру за два года , выкинул мусор, и прогнал через LDA. Получилась фигня. Как лучше выделить ключевые новости на таком массиве данных?
что такое анализ?
GF
в твоем бизнес кейсе
DP
Добрый день, я пишу пет проект анализа новостей, я выкачал лента.ру за два года , выкинул мусор, и прогнал через LDA. Получилась фигня. Как лучше выделить ключевые новости на таком массиве данных?
спарси еще просмотры каждой из новостей например
AE
Добрый день, я пишу пет проект анализа новостей, я выкачал лента.ру за два года , выкинул мусор, и прогнал через LDA. Получилась фигня. Как лучше выделить ключевые новости на таком массиве данных?
FF
Добрый день, я пишу пет проект анализа новостей, я выкачал лента.ру за два года , выкинул мусор, и прогнал через LDA. Получилась фигня. Как лучше выделить ключевые новости на таком массиве данных?
Как данные предобрабатывались перед LDA?
AW
что такое анализ?
Чтобы выделить тренды по короне/ и тд
AW
Как данные предобрабатывались перед LDA?
Bow, чистка, токены
FF
Bow, чистка, токены
Стоп-слова удалялись?
AW
Стоп-слова удалялись?
Да
FF
Нужно с количеством топиков поэкспериментировать
AW
Нужно с количеством топиков поэкспериментировать
Да я уже
AW
Я вытащил штук 15 новостей по типу: выборы, wada, Украина,
KL
без учителя всегда тяжело :(
A
делать сеть в которой есть 2 слоя в конце:
предпоследний слой с 100 000 классов, явно больше чем когда-либо будет нужно
последний слой с 1000 классов. при обьединении или разделении класса достаточно перетренировать только последний слой, или даже отдельные нейроны, если границы остальных классов не задеты
предпоследний слой можно тренировать с функцией ошибки на основе ортогональности (независимости, отсутствии корреляции классов) и на основе равнозначимости (простой случай - дропаут, средний - штраф за веса близкие к 1, сложный - считать корреляцию активности каждого из классов с активностью классов последнего слоя)
предпоследний слой с 100 000 классов, явно больше чем когда-либо будет нужно
последний слой с 1000 классов. при обьединении или разделении класса достаточно перетренировать только последний слой, или даже отдельные нейроны, если границы остальных классов не задеты
предпоследний слой можно тренировать с функцией ошибки на основе ортогональности (независимости, отсутствии корреляции классов) и на основе равнозначимости (простой случай - дропаут, средний - штраф за веса близкие к 1, сложный - считать корреляцию активности каждого из классов с активностью классов последнего слоя)
Спасибо! Возможно, не совсем точно описал проблему или не правильно понял ваше предложение, потому уточню. Датасет для обучения содержит много ситуаций, когда обращения одного смысла (тематики) размечены разными метками классов. Причина в изменения в классах, которые проводились ранее. Например, обращение тематики X сначала классифицировали как класс А, потом приняли решение из А выделить класс В и обращения тематики X относить к классу В и т.д. Вот и получается, что X может иметь метки А, В, С... Это снижает точность классификации. Вопрос - как получить датасет для обучения или (и) модель, которая максимально точно классифицирует обращения с учетом текущей схемы классификации?
FF
Тем более, если за большой период времени новости, то будет каша из-за большого количества трендов
FF
Можно по временным участкам поделить и для каждого построить модель
AW
Тем более, если за большой период времени новости, то будет каша из-за большого количества трендов
Я когда строил dbscan сильно удивился
DP
Спасибо! Возможно, не совсем точно описал проблему или не правильно понял ваше предложение, потому уточню. Датасет для обучения содержит много ситуаций, когда обращения одного смысла (тематики) размечены разными метками классов. Причина в изменения в классах, которые проводились ранее. Например, обращение тематики X сначала классифицировали как класс А, потом приняли решение из А выделить класс В и обращения тематики X относить к классу В и т.д. Вот и получается, что X может иметь метки А, В, С... Это снижает точность классификации. Вопрос - как получить датасет для обучения или (и) модель, которая максимально точно классифицирует обращения с учетом текущей схемы классификации?
у нас несколько классов сразу активно может быть?
или этого лучше избегать?
или этого лучше избегать?
FF
Я когда строил dbscan сильно удивился
Чему?