Всем привет! у меня возник вопрос по поводу spacy matcher. Я не понимаю, можно ли его как-то использовать, чтобы он искал начальную форму слова? Я нашел в документации параметр lemma, но опять же, судя по документации - это что-то другое. Конечно есть вариант сначала весь текст прогонять через Pymorphy, а уж потом искать, но может есть вариант без костылей? В целом задача такая: есть список фраз подвязанных к тематикам, есть транскрибция разговоров - хочу помечать то, что нашлось, а то что не нашлось кластеризировать и формировать новые тематики.  P.s. На картинке кусок документации spacy, где like и love вроде как леммы слова i. Я видимо не так понимаю смысл слова Lemma и это не начальная форма, а что-то другое?

Ну то есть недостаточно просто в лемме указать начальную форму слова?

Всем привет!
В рамках Dialogue Evaluation 2021 с 20 февраля по 15 марта проводится соревнование по нормализации (т. е. приведению к начальной форме) спанов.
Соревнование состоит из 2 дорожек. В первой дорожке необходимо привести к нормальной форме именованные сущности (персоны, локации, организации) на материале новостных текстов vz.ru. Во второй - более общие спаны (в том числе, не являющиеся именными группами) на материале корпуса RuREBus (программы Минэкономразвития).
По результатам участия можно будет подать статью на конференцию Диалог.

Более подробное описание по ссылке.
Гитхаб: https://github.com/dialogue-evaluation/RuNormAS
Соревнование: https://competitions.codalab.org/competitions/29216?secret_key=d63b3dae-a033-402f-a867-fa6de980dd4d
Чат в Telegram: @RuNormAS

В описании есть фраза: "В соревновании представлен бейзлайн, полученный применением средств нормализации из библиотеки Natasha".  Что это означает, что в качестве эталонной нормализации используется Natasha, а не человек?

Всем привет!
В ODS, в канале #nlp недавно был вопрос про разрешение кореференции для русского языка, и в одном из ответов упомянулось, что в Natasha есть такая функциональность.
Однако, не нашел ничего в документации. Может кто-то проконсультировать по данному вопросу?

Заранее спасибо!

В описании есть фраза: "В соревновании представлен бейзлайн, полученный применением средств нормализации из библиотеки Natasha".  Что это означает, что в качестве эталонной нормализации используется Natasha, а не человек?

Да, бейзлайн это пример решения от организаторов, которое все должны легко обойти. Вообще достаточно обидно )), я думал в Наташе норм нормализация

В Наташе нет такой функциональности

Был конкурс на Диалоге, можно покопать http://www.dialog-21.ru/evaluation/2019/disambiguation/anaphora/

Что-то есть в Диппавлове https://github.com/deepmipt/DeepPavlov/issues/1344, не трогал, вроде основано на https://github.com/kentonl/e2e-coref

Друзья,

Есть сотни новостей, нужно найти из них одинаковые и похожие новости.

Подскажите пожалуйста алгоритмы и технологии при помощи которых, это можно реализовать.

Про это прямо сейчас идёт дорожка, там есть лидерборд, где можно посмотреть решения, и телеграм-чат, где их можно обсудить)