FF
Нужно классифицировать теги или они выступают как дополнительная информация?
Size: a a a
2021 August 05
IS
Нужно классифицировать комментарии по тегам. Т.е. для новых комментариев определять теги «вкусная еда» «хороший сервис» и тд и тп
IS
Спасибо!
E
если тегов не очень много, например, в пределах 50, то multilabel classification хорошо подойдет
IS
Окей. Спасибо)
OS
Привет! А откуда вы достаёте синонимы для английского?
AZ
из wordnet
OS
Спасибо)
🐙
Привет! Вникаю в известные подходы к экстрактивной саммеризации, во многих пейперах основной бейзлайн (как и очевидно следует из задачи) - выбрать наиболее релевантные предложения, и просто их оставить. Никому не попадались работы по сокращению текста путём "убирания" малоинформативных слов, какого-нибудь перетряхивания дерева зависимостей, или это немного другая задача?
VP
Я вот нашел подход абстрактной компрессии с помощью автоэнкодеров https://arxiv.org/pdf/1904.03651.pdf
🐙
Ага, про абстрактивную много подходов есть, даже, насколько помню, выше в чате было предложение при абстрактивной генерации ограничивать возможные токены входным набором, что, в целом, может дать тот эффект, который я ищу 🤔
A
а с чем связано ограничение на сколько-то тегов? любопытно
E
Чем больше тегов, тем сложнее добиться точности от модели
SМ
Зависит от мощности
SМ
Ширины и глубины сети
SМ
SМ
Это не мешает же языковым моделям на словаре в десятки тыс слов предсказать лейбел
SМ
Но ответ в их мощности, скок весов и тп
E
Если лейбл один, конечно, не мешает. А если лейблов много, то задача усложняется
SМ
Но там распределение тоже размывается на дестяки тыс вариантов