IG
Если применить к таргетам обучающей выборки сигмоиду, то в инференсе может получиться 1.1
Size: a a a
2021 July 06
IG
Если применять сигмоиду дважды (в обучающей выборке и в инференсе), то получится совсем другое распределение
IG
единственное, что может спасти от "12" и "1.1" - явный clamp и аккуратная работа с выбросами в обуающей выбрке
d
Да я протупил, что не в логрег нормальное поведение выдать что-то за виденным диапазаоном
AE
День добрый. А какое самое простое решение есть по внедрению spell checker на русском языке есть? Что бы избежать вот такого вот
'стажер',
'стажир',
'стажор',
'стажер',
'стажир',
'стажор',
d
А так, да. Если мы в пайплайне юзаем тот самый нормализатор, который учили, то будет там и 1.1 и сколько угодно
d
Расстояние Левенштейна )
AE
Ну оно так себе работать будет 🙂 и потом какой порог ставить в 1? )
AE
хотя конечно в случае, со стажером будет довольно неплохо
AE
но со всякими
кот
рот
дот
бот
уже прямо так себе
кот
рот
дот
бот
уже прямо так себе
IG
http://docs.deeppavlov.ai/en/master/features/models/spelling_correction.html, там есть сравнение разных вариантов
AE
Спасибо большое за ссылку, буду изучать!
d
А скажите мне иностранные языки популярные где "прыгал" и "прыгала" это разные слова (род зашит, как в русском)
IG
https://fasttext.cc/docs/en/unsupervised-tutorial.html
но вообще информации не хватает, какие именно эмбеддинги хочется
но вообще информации не хватает, какие именно эмбеддинги хочется
C
романские (итал, франц, исп и т.д.)
семитские (арабский, иврит и тд)
славянские (польский, чешский и тд)
семитские (арабский, иврит и тд)
славянские (польский, чешский и тд)
d
Не убивай меня сегодня.
В фасттексте же нельзя доубучать эмбединги?
В фасттексте же нельзя доубучать эмбединги?
DS
вопрос только про род у глаголов?
d
Чем его больше, тем лучше )
d
И прилагательные и вот это вот всё тоже круто бы