Коллеги, добрый день. Подскажите, чем можно воспользоваться, чтобы вытащить с текстов сущности: должность, ФИО?
Что-то вроде Томиты-парсера, Пиморфа или тп.
Например, вот статья на Аифе:
https://aif.ru/health/life/1382963
Отсюда нужно получить:
1-1. директор МОНИКИ, д.  м. н.
1-2. Филипп Палеев
2-1. руководитель Московского областного гепатологического центра, главный гепатолог МЗ Московской области
2-2. Павел Богомолов
Еще здесь есть:
3-1. первый заместитель министра здравоохранения МО
3-2. Дмитрий Марков
Вообще пример не простой, здесь много других уникальных названий, но сейчас задача в том, чтобы выделить уникальных персон.

Привет! А можно ссылки на статьи? Похожую проблему решаем с генерацией вопросов

Я только начала искать, научрук советовал вот это: https://aclanthology.org/P18-3022.pdf
есть еще https://telrp.springeropen.com/track/pdf/10.1186/s41039-021-00151-1.pdf и http://ijaerd.com/papers/finished_papers/Automatic%20Question%20Generation%20from%20Paragraph-IJAERDV03I1213514.pdf
Я для дипломного проекта ищу, но месяца три еще в запасе есть

У кого-нибудь случайно нет доступа к Handwritten Kazakh and Russian (HKR) database ?

привет! А вы тут не заводили заявку? https://github.com/abdoelsayed2016/HKR_Dataset

Пока ещё нет

Наверное вы уже находили, но на всякий случай напишу, что в Pullenti вместе с ФИО извлекается должность.

Спасибо большое, изучим

Первые тесты на их сайте - очень не плохо. Чуть допилим, и наверное нам будет достаточно. Спасибо еще раз 🤝

Привет! Хотел спросить как у вас построена работа с тестировщиками?

Модель transformer переводчика  должна уехать на прод. Но перед этим,  при тестировании, некоторые названия переводятся неверно. Что естественно, так как всегда есть вероятность.  Допустим я  дообучу и исправлю эти названия. Но ведь появятся другие, из 100 верных одно неверное. :))

P.S: на самом деле тестеры отличные ребята они очень помогают

Ну так машинное обучение никогда не работает на 100% как нормальное алгоритмическое решение задачи, всегда будут ошибки на каких-то примерах. Если нужно 100% рабочее решение - это не к машинному обучению.

Тут надо решить, какие ошибки критичны, какие не очень, и попробовать написать детерменированный алгоритм, отлавливающий и исправляющий критичные ошибки.

Если любые ошибки критичны - отказываться от машинного обучения.

Дообучение вряд ли поможет, где-то подправите - в другом месте выпрет.

ну вот да, я вижу решение чтобы по score определялась степень сомнения  в сделанно предсказании, и например при score ниже 75%  перевод игнорировался как трудный, сомнительный или невозможный

Только вряд ли скор будет коррелировать с вероятностью ошибки...

Модельки эти обычно очень уверены даже когда врут.

мне многда наоборот жалко глядеть на хорошее предсказание но  с низким счетом - то есть модель очень сомневалась когда его делала

А получить помимо предсказания еще и хорошую оценку вероятность ошибки - это отдельная тема исследований. Куча статей по этом теме есть, но простого и хорошего решения кажется пока еще не придумано. Но я могу ошибаться, можете поискать-почитать..

А как считается скор?