Телеграмм чат группы natural_language

я бы попробовал в два шага:
1. грязное извлечение сущностей: нер + регулярки
2. уточнение по внешнему сервису, например дадата, который выдает реквизиты компании. запрашивать реквизиты по обеим строкам и уже сравнивать стандартный вывод от сервиса

источник

12:10пожаловаться #8

Alex Mak in Natural Language Processing

Это не они?

https://github.com/yaiestura/sibur_challenge_2020

GitHub

GitHub - yaiestura/sibur_challenge_2020: AI Community SIBUR Challenge 2020 - NLP task

AI Community SIBUR Challenge 2020 - NLP task. Contribute to yaiestura/sibur_challenge_2020 development by creating an account on GitHub.

источник

12:21пожаловаться #9

Daniel in Natural Language Processing

Всем привет!

источник

12:36пожаловаться #10

Alex Mak in Natural Language Processing

А, нет, сами таблички не грузятся у меня. (

источник

12:37пожаловаться #11

Daniel in Natural Language Processing

Хочу рассказать про новую библиотеку лемматизации и получения морфологической информации для Java:
https://habr.com/ru/post/578826/

Хабр

Обработка русского языка на Java

Рассказ пойдет об одной новой, общедоступной Java/Kotlin библиотеке, для работы с русским языком. Она позволяет получить исходные формы + морфологическую информацию для большинства слов русского...

источник

12:38пожаловаться #12

Daniel in Natural Language Processing

Если кому нибудь интересно, отвечу на все вопросы здесь)

источник

12:41пожаловаться #13

E E in Natural Language Processing

Какие преимущества по сравнению с Pymorphy2? Анализ происходит со снятием омонимии?

источник

13:53пожаловаться #14

SМ

SancheZz Мов in Natural Language Processing

У меня

источник

14:21пожаловаться #15

SМ

SancheZz Мов in Natural Language Processing

Дык тут легко скачать

источник

14:25пожаловаться #16

Anton Kolonin in Natural Language Processing

Переслано от Anton Kolonin

Поспойлю тут немножно, подробности будут на AGI-2021, на воркшопе INLP.
Мы продолжаем тестировать разные публичные модели, включая huggingface - для англоязычного сентимент-анализа применительно к криптофинтеху.
Так вот - из семи моделей - наша, из коробки, без файн-тюнига, описанная ниже - лучшая 😊
https://blog.singularitynet.io/aigents-sentiment-detection-personal-and-social-relevant-news-be989d73b381

Medium

Aigents® Sentiment Detection- Personal and Social Relevant News

Sifting through a sea of information to bring you only relevant topics of interest.

источник

14:49пожаловаться #17

Konstantin Smith in Natural Language Processing

Если предложенные выше решения в области ML не подойдут или дадут неважный результат, можно попробовать Pullenti, в котором решается, в частности, задача кореференции - отождествление сущностей с учётом разного написания. Если оба списка организаций небольшие (скажем, не более 10000), то можно объединить тексты, подать на вход NER, и если организация есть в обоих списках, то у неё будут как минимум 2 вхождения - в первую половину и во вторую половину текста. Аналогично адреса. Но это навскидку. Для большого эталонного списка орг-й можно использовать класс ExtOntology, предварительно инициализируя его этими организациями, и потом в тексте выделяемые организации будут пытаться привязываться к ним. Для большого количества адресов можно просто брать ToString() - строковое представление сущности, оно получается нормализованным, и как бы адрес ни написать, ToString() будет одинаковым.

источник

15:13пожаловаться #18

Alex Mak in Natural Language Processing

Ммм… интересно! Спасибо за подробный ответ. Посмотрю pullenti тоже.

источник

15:27пожаловаться #19

МЕ

Максим Ермаков... in Natural Language Processing

Коллеги, доброго дня! Написал NER классификатор на BERT эмбеддингах (датасет не крупный, BIO разметка, два вида сущностей), получил неплохое качество на полносвязной сетке. Имеет ли смысл пробовать (Bi)LSTM, или в эмбеддингах контекста достаточно и получится дублирование?

источник

16:10пожаловаться #20