N
а оперировать значениями слов (особенно исходя из современных данных) — ещё более опасный путь, потому что они как раз отлично меняются с годами
Size: a a a
2021 February 25
N
ммм, русский wiktionary, ни источников, ни ссылок
N
но так просто и что? а в адресе?
N
N
N
вообще etytree похоже на то, о чём спрашивалось
N
а с другими целями можно поиграться с lingpy:
http://lingpy.org/
http://lingpy.org/
AC
Natalia
а с другими целями можно поиграться с lingpy:
http://lingpy.org/
http://lingpy.org/
👍👍👍
NC
Mark
Для английского есть предобученный docTTTTTquery.
А для русского чем мутить? Word2vec по парам и потом логарифм сумм?
M
А для русского чем мутить? Word2vec по парам и потом логарифм сумм?
Ну это будет работать только если у тебя есть база запросов. Без этого просто тут не решить. Как вариант перевести MT все на английский а потом обратно. Если рантайм важен то перевести msmarco, а потом на нем обучить docT5query (T5 можно на mT5 попробовать поменять)
A
Всем привет! Подскажите, пожалуйста, а есть способы идентификции или приведения имен в "нормальные" формы? Например: ["Маша", "Машуля", "Машечка", "Maria" и тп] -> "Мария"
Е
Всем привет! Подскажите, пожалуйста, а есть способы идентификции или приведения имен в "нормальные" формы? Например: ["Маша", "Машуля", "Машечка", "Maria" и тп] -> "Мария"
Это подзадача Named entity recognition и Named entity normalization.
Natasha умеет такое.
Natasha умеет такое.
N
но вообще осторожно такое автоматизировать для некоторых задач, потому что а) бывают гипокористики с несколькими соответствиями (Ася — Александра или Анастасия? или вообще Анна? Шура — Александр или Александра?), б) у некоторых людей прямо в паспорте может быть написано "ненормальное" имя
N
про то, что примерно половина людей не способна восстановить из латинского написания моего имени верный вариант Наталья, я тоже молчу
ДК
А как тогда пишется по латински Наталия?
ДК
через y?
N
define "по-латински"
N
или для вас латиница = английский?
N
как где договорятся, так и пишут, это правила транслитерации
N
а есть языки, где это имя по дефолту скорее НаталИя