НК
Я сделал несколько тестов и ваш чаще всего не находил некоторые сущности
Size: a a a
2020 December 03
ES
Natasha и DeepPavlov явно превосходят ваш NER.
Всегда нужен критерий сравнения.
Явно - это эмоции.
И это не мой 😂😂
Явно - это эмоции.
И это не мой 😂😂
НК
Никаких эмоций. мне понравилось, что система РПЦ точно репрезентовала как Российская православная церковь.
SA
Сборная России разгромила команду Франции в стартовом матче на чемпионате мира по хоккею. Об этом сообщает корреспондент «Ленты.ру». Встреча прошла в пятницу, 4 мая, и завершилась со счетом 7:0. Заброшенными шайбами отметились Кирилл Капризов (8-я и 38-я минуты), Павел Бучневич (9-я), Евгений Дадонов (11-я), Александр Барабанов (43-я), Максим Шалунов (45-я) и Артем Анисимов (59-я). 29-я апреля сборная России прервала серию из пяти поражений, которая началась после ухода с поста главного тренера Олега Знарка. Команда переиграла Чехию со счетом 4:2. Для Ильи Воробьева, сменившего Знарка, эта победа стала первой во главе сборной страны. Турнир пройдет в Дании с 4 по 20 мая. Действующим чемпионом мира является сборная Швеции. Россия в последний раз завоевывала золотые медали в 2014 году, на прошлом первенстве команда заняла третье место.
Результат Natasha -
5 из 14
России, Франции,
Ленты.ру,
Кирилл Капризов,
Павел Бучневич
Может я как-то не так запустил чего?
Реальность -
России,
Франции,
Швеции,
Дании,
Чехию
Ленты.ру
Кирилл Капризов
Павел Бучневич
Евгений Дадонов
Александр Барабанов
Максим Шалунов
Артем Анисимов
Олега Знарка
Ильи Воробьева
DeepPavlov все нашел.
Результат Natasha -
5 из 14
России, Франции,
Ленты.ру,
Кирилл Капризов,
Павел Бучневич
Может я как-то не так запустил чего?
Реальность -
России,
Франции,
Швеции,
Дании,
Чехию
Ленты.ру
Кирилл Капризов
Павел Бучневич
Евгений Дадонов
Александр Барабанов
Максим Шалунов
Артем Анисимов
Олега Знарка
Ильи Воробьева
DeepPavlov все нашел.
Николай, система Sapremo от Мегапьютера извлекает приведенного Вами фрагмента текста 14 сущностей (не считая еще 4-х дат). Можете провести свой эксперимент с этим или другими текстами, зайдя на https://sapremo.megaputer.ru/ Модуль предоставляет АПИ для интеграции во внешние системы. Можно скачать оценочную копию системы оттуда же.
SA
Natasha и DeepPavlov явно превосходят ваш NER.
Николай, вот результаты Sapremo на этом фрагменте.
SA
Это наша система (производитель - Мегапьютер). Может Вам еще раз попробовать провести сравнительный анализ. Будем рады получить обратную связь.
SK
Это наша система (производитель - Мегапьютер). Может Вам еще раз попробовать провести сравнительный анализ. Будем рады получить обратную связь.
А как ви привязали сущность к странице Википедии?
НК
Этот пример явно показывает недостатки системы. DeepPavlov не ошибся, а Natasha сделала лишь 1 неправильный.
НК
Полагаю вы обучались больше на новостном датасете.
НК
Мегапьютер не увидел вообще, Natasha не увидела Бантингу. Диппавлов все увидел.
SA
Полагаю вы обучались больше на новостном датасете.
Николай, Мегапьютер - один из пионеров технологий анализа текста (с 2000-х годов поставляем системы клиентам). У нас реализованы две альтернативные (ну или взаимодополняющие) технологии для извлечения сущностей. Результаты, которые Вы видите в демке получены с помощью системы, работающей на лингвистических правилах. Ее преимущество в более высокой (на два порядка) скорости работы. Для промышленных применений системы высокая скорость анализа может оказаться критически важным преимуществом. Другой подход, реализованный в нашей основной системе PolyAnalyst (в дополнение к системе на правилах) основан на машинном обучении (BERT, RNN, etc.). Он как раз обучается на разных корпусах и дает результаты более-менее похожие на Deep Pavlov. Но все зависит от текстов. На разных текстах у Вас то одни, то другие системы будут давать лучшие результаты. Еще, Вам может будет интересно сравнить, как система сможет распознавать ко-референции, выходящие далеко за рамки одного предложения. Для этого сравнивать надо на больших текстах.
2020 December 04
НК
Завалил диппавлова) Все ответили, а он не знает локацию
OR
Мне кажется, что в современном мире больше внимания стоит уделять не просто извлечению NER, а работы с тем, кто текст будет читать. Недавно наткнулся на хороший пример такой реализации: https://turbocheck.ru/, есть проверки, сродные Мегапьютеру, но нечто новое всё же на рынке.
НК
Николай, Мегапьютер - один из пионеров технологий анализа текста (с 2000-х годов поставляем системы клиентам). У нас реализованы две альтернативные (ну или взаимодополняющие) технологии для извлечения сущностей. Результаты, которые Вы видите в демке получены с помощью системы, работающей на лингвистических правилах. Ее преимущество в более высокой (на два порядка) скорости работы. Для промышленных применений системы высокая скорость анализа может оказаться критически важным преимуществом. Другой подход, реализованный в нашей основной системе PolyAnalyst (в дополнение к системе на правилах) основан на машинном обучении (BERT, RNN, etc.). Он как раз обучается на разных корпусах и дает результаты более-менее похожие на Deep Pavlov. Но все зависит от текстов. На разных текстах у Вас то одни, то другие системы будут давать лучшие результаты. Еще, Вам может будет интересно сравнить, как система сможет распознавать ко-референции, выходящие далеко за рамки одного предложения. Для этого сравнивать надо на больших текстах.
Почитал, много интересного у вас уже реализовано
НК
Какая тарификация у вас?)
KK
RUNER не плохо так разобрал) Активно развиваем сейчас, есть демка в онлайне, хоть и немного отстает от того что на скрине