SМ
Вы клёвые 👍
Мне нравится. Как сильно - узнаю в понедельник )
Size: a a a
2021 July 16
В
Здравствуйте, подскажите пожалуйста. В общем, использую библиотеку natasha для извлечения фамилий с инициалами из текста, но некоторые фамилии natasha не знает. У меня есть список всех нужных фамилий, которые могут встречаться. Можно ли как то дообучить наташу находить эти фамилии тоже?
G
Там ярги парсер под капотом, ты можешь взять наташинские правила и свои просто добавить
G
Придётся в коде порыться
В
Хм, может есть ещё какие-нибудь хорошие решения для поиска фамилий?
G
Если уходить от правил, то только НЕР пилить
G
Но кажется что в твоей ситуации реально проще разобраться как работает ярги парсер и допилить нужные фамилии
В
Хорошо, я посмотрю, что за ярги парсер
Е
При такой постановке задачи, почему просто не производить поиск по словарю?
В
Боюсь, что будет долго, плюс фамилии могут быть в разных падежах
Е
Явно быстрее чем машинное обучение. Ахо-Корасик + библиотека для падежей
DD
Плюсую, у меня именно этот рецепт (просклонять с помощью pymorphy во все падежи и скомпилировать в ahocorasick) работал быстро с миллионами сущностей.
LD
Тогда можно заранее их просклонять
G
Падежи просто добавить можно. Есть либы которые склоняют ФИО российские. Petrovich например
N
ну вы преуменьшаете возможность генерации всех форм, это совсем не так уж сложно и много (например, у вас только ед.ч. будет нужно в основном)
N
вообще юзать правила и словари не то чтобы зазорно :)
В
Знаю, что можно, но это и словарь в несколько раз увеличит. Боюсь, что поиск будет работать слишком долго
В
В
Переслано от Gernar
Падежи просто добавить можно. Есть либы которые склоняют ФИО российские. Petrovich например