Size: a a a

Natural Language Processing

2021 January 02

МН

Михаил Никифоров... in Natural Language Processing
Sergey Shulga
Народ, кому то встречались мат-фильтры продвинутые? пока нашел только пару монструозных регулярок и работу со словарем. Но они неустойчивы транслитерационным заменам и другим трюкам. Как я понимаю, задача вообще не простая совсем.
Искал по этой теме как-то раз решение. Ничего продвинутого не нашёл. По итогу использовал словарь + нагенерировал новых слов с заменами всяким. ( с -> s , например), дальше шустро искал совпадения, можно ещё Левенштейна прикрутить
Если будут ещё варианты, буду рад изучить
источник

BS

Bogdan Salyp in Natural Language Processing
Sergey Shulga
Народ, кому то встречались мат-фильтры продвинутые? пока нашел только пару монструозных регулярок и работу со словарем. Но они неустойчивы транслитерационным заменам и другим трюкам. Как я понимаю, задача вообще не простая совсем.
Встретился с этой проблемой тоже
profanity-filter не поддерживается уже около года создателем и далеко не идеально фильтрует, не распознаёт например как мат слово, начинающееся на "ё" и оканчивающееся на "баный". Фишка с фильтрацией неочевидного мата (например "бляяяяя" вместо трёх букв) тоже сломана, требует библиотеки, которых нет в зависимостях, а также pymorphy, который, например, несовместим с pymorphy для deeppavlov-ner. Всё равно выбрал его, так как в нашем проекте фильтрация мата не критична, а проскакивающий мат можно добавлять руками в правила

profanity-check хорош, но только на английском
источник
2021 January 03

VF

Vadim Fomin in Natural Language Processing
источник

B

Banof in Natural Language Processing
🔫 HORATIO FELICE кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @hitmaker, HORATIO FELICE, @eaglemango, @kasha131
При поддержке Золота Бородача
источник

VF

Vadim Fomin in Natural Language Processing
почему-то уже второй раз спамобот голосует за то, чтобы забанить самого себя
источник

IN

Ilya Nikitin in Natural Language Processing
Vadim Fomin
почему-то уже второй раз спамобот голосует за то, чтобы забанить самого себя
источник

MN

Mira Nekomimi in Natural Language Processing
Vadim Fomin
почему-то уже второй раз спамобот голосует за то, чтобы забанить самого себя
лол
источник

IN

Ilya Nikitin in Natural Language Processing
изобретены спам-боты самоубийцы...
источник
2021 January 04

T

TT in Natural Language Processing
Всем привет! Для решения задачи NLU помимо Natasha какие решения могли бы посоветовать (опенсорсные и не очень)? Нужно для диалогового бота
источник

AK

Alexander Kukushkin in Natural Language Processing
TT
Всем привет! Для решения задачи NLU помимо Natasha какие решения могли бы посоветовать (опенсорсные и не очень)? Нужно для диалогового бота
Deeppavlov
источник

T

TT in Natural Language Processing
Спасибо! Интересная система, читаю. Если еще есть что-то по теме, буду признателен.
источник

AT

Andrey Tatarinov in Natural Language Processing
TT
Всем привет! Для решения задачи NLU помимо Natasha какие решения могли бы посоветовать (опенсорсные и не очень)? Нужно для диалогового бота
Rasa
источник

AK

Anton Kazennikov in Natural Language Processing
источник

B

Banof in Natural Language Processing
🔫 Abba Abraham HENRI кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@kazennikov, Abba Abraham HENRI, @etkee, @Nikitini, @wooferclaw
При поддержке Золота Бородача
источник

AK

Anton Kazennikov in Natural Language Processing
Ещё один бот-самоубийца
источник

T

TT in Natural Language Processing
А он русский язык поддерживает?
источник

AT

Andrey Tatarinov in Natural Language Processing
Да, там несколько вариантов для классификации интентов и NER, в каждом из них есть варианты для русского.

Для spacy можно использовать русскоязычную модель, для bert можно тот же rubert от deeppavlov подложить.
источник

T

TT in Natural Language Processing
Andrey Tatarinov
Да, там несколько вариантов для классификации интентов и NER, в каждом из них есть варианты для русского.

Для spacy можно использовать русскоязычную модель, для bert можно тот же rubert от deeppavlov подложить.
Спасибо. Поразбираюсь
источник

ЕЗ

Евгений Зубов... in Natural Language Processing
А мультиязыячные решения существуют? Если да, то какое их свойство страдает из-за этого?
источник

DD

Darina Dementyeva in Natural Language Processing
Евгений Зубов
А мультиязыячные решения существуют? Если да, то какое их свойство страдает из-за этого?
мультиязычный NER от deeppavlov работает достаточно неплохо для многих языков
источник