Size: a a a

Natural Language Processing

2020 November 26

A

Alexander in Natural Language Processing
Но тоже не 100%
источник

AB

Alexey Burnakov in Natural Language Processing
Alexander
Можно попробовать нормализацию при помощи mystem
Я уже про это написал. Очень плохо получается.
источник

AB

Alexey Burnakov in Natural Language Processing
Борис Добров
Это уже модель, применимость ограничена.
Какой скриншот ? ) я не читаю мысли
источник

AB

Alexey Burnakov in Natural Language Processing
у меня с Навальным сотни ошибок
источник

AB

Alexey Burnakov in Natural Language Processing
Нормальная форма выдает "Навальным"
источник

AB

Alexey Burnakov in Natural Language Processing
У автора весь документ, от отмалчивается
источник

AB

Alexey Burnakov in Natural Language Processing
Там ошибок тонны
источник

A

Alexander in Natural Language Processing
Вы нормализовали по отдельным словам или весь текст сразу?
источник

AB

Alexey Burnakov in Natural Language Processing
Alexander
Вы нормализовали по отдельным словам или весь текст сразу?
Я знаю про эту фишку. Конечно, весь текст
источник

AB

Alexey Burnakov in Natural Language Processing
Этот результат не мои выдумки или кривые руки. Проверял по второму разу на деме-стенде
источник

БД

Борис Добров... in Natural Language Processing
В каждой программе бывают ошибки.

У нас раньше морфология выдавала больше вариантов, но правильный содержатся всегда.

Потом статистически подсократили, ускорили, но что-то иной раз и пропадет.

За все надо платить.
источник

A

Alexander in Natural Language Processing
Тогда вряд ли есть качественное решение в открытом доступе по нормализации
источник

A

Alexander in Natural Language Processing
Нужно своё делать
источник

AB

Alexey Burnakov in Natural Language Processing
Короче, я выложу тексты. Если меня осудят, значит так тому и быть.
источник

AB

Alexey Burnakov in Natural Language Processing
Поле content, и попарные сравнения нормальных форм
источник

БД

Борис Добров... in Natural Language Processing
Alexander
Тогда вряд ли есть качественное решение в открытом доступе по нормализации
Его в принципе нет, в следующем Диалоге может быть будет организована дорожка
источник

A

Alexander in Natural Language Processing
Вот и я про то же
источник

AB

Alexey Burnakov in Natural Language Processing
Ладно, я пойду думать, что делать. Кейс я осветил, если кому то поджарил одно место, велико сожалею, но оно у меня уже пригорает.
источник

БД

Борис Добров... in Natural Language Processing
Когда у нас был основной модуль на правилах, то брали ь списки из Википедии и первый миллион частотки из базы телефонов, но навального потом все равно пришлось добавлять в словарь
источник

БД

Борис Добров... in Natural Language Processing
Проблема же, например,  в Си цзиньпинем и Си Цзинпином.

Не говоря уж о Путине и Вагине в начале предложения.
источник