МП
Самое быстрое решение - это парсер от Яндекса, если запускать многопоточно
Size: a a a
2020 December 03
МП
Но работает фигово
МП
Если задача состоит в точном нахождении, то не пойдет
Если поиск на больших данных, где часто попадаются одинаковые персоны/организации и тд
То можно постобработкой улучшить качество до приемлемого
Если поиск на больших данных, где часто попадаются одинаковые персоны/организации и тд
То можно постобработкой улучшить качество до приемлемого
МП
То есть если 20 раз встретилась персона/организация - валидно
Если 1 раз - то ошибка
Если 1 раз - то ошибка
МП
Буду рад критике и предложениям)
НК
Пожалуй, здесь тот самый случай для rule-based
НК
Я тоже тестировал разные NER и результат печальный.
НК
Диппавлов на gpu оказался всего раз в 5 быстрее чем на i7
МП
На хороших данных всё окей
Но на боевых получается медленно и не оч(
Но на боевых получается медленно и не оч(
МП
Пожалуй, здесь тот самый случай для rule-based
Смотря какие данные и правила
НК
В любом случае то что выдает NER надо еще скриптами чистить
МП
Лучшее решение, что я оставил
Это Берт от диппавлова, а потом NamesExtractor из Наташи
Это Берт от диппавлова, а потом NamesExtractor из Наташи
МП
Плюс постобработка
НК
Ты не создавал свою диппавлова NER модель?
МП
Неа, предобученную юзаю их
МП
Мне больше важна полнота в задаче
МП
Чем качество
МП
Диппавлов с этим справляется
НК
а в чем отличие полноты и качества?
МП
Качество - процент валидных из распознанных
Полнота - процент найденных из всех
Полнота - процент найденных из всех