Size: a a a

Natural Language Processing

2018 April 15

AF

Alexander Fedorenko in Natural Language Processing
Alexander Kukushkin
Ещё один пример-урок по yargy, разбор записей списка экстримистких материалов минюста (в тему блокировки телеграма=)) http://nbviewer.jupyter.org/github/natasha/yargy-examples/blob/master/03_fsem/notes.ipynb#Extractor
Посмотрел мельком и увидел такую картину
test_interpretation(
   NAME,
   ['Вострягов В.А.', Name(first='в', middle='а', last='востряг')],
   ['Т.Н. Галимова', Name(first='т', middle='н', last='галимов')],
   ['Е. Сорокоумовой', Name(first='е', last='сорокоумова')],
   ['Сергея Владимировича Наумова', Name(first='сергей', middle='владимирович', last='наумов')],
   ['Петров Константин Павлович', Name(first='константин', middle='павлович', last='петров')],
   ['Волкова Владимира Игоревича', Name(first='владимир', middle='игоревич', last='волков')],
   ['Константин Павлович', Name(first='константин', middle='павлович')],
   ['Ирину Васильевну', Name(first='ирина', middle='василиевна')]
)
и вопрос появился, а случаи first и last (имя и фимилия) не рассмотрены.
Или в этом тексте, для которого строятся правила такие сочетания исключены?
И еще момент, а автоматизацию по формированию таких правил никто еще не пытался делать? Задумка есть, но не хочется дублировать)) Чтобы подстравивались(уточнялись, корректировались) правила под анализируемый текст.
Точнее, по результату анализа)))
источник

AK

Alexander Kukushkin in Natural Language Processing
Кстати, да, можно добавить правило для first last. На моей практике было два примера когда люди пробовали автоматически составлять правила, получалось не очень
источник

AF

Alexander Fedorenko in Natural Language Processing
Ну так первые шаги всегда такие))
источник

AF

Alexander Fedorenko in Natural Language Processing
ИМХО стоящее и непростое оно в результате многих итераций рождается
источник

AF

Alexander Fedorenko in Natural Language Processing
Alexander Kukushkin
Кстати, да, можно добавить правило для first last. На моей практике было два примера когда люди пробовали автоматически составлять правила, получалось не очень
Мне кажется тут надо обучающуюся систему по результатам анализа городить.
источник

AK

Alexander Kukushkin in Natural Language Processing
не там не первые шаги, есть статьи, готовые инструменты, может поискать что-то типа "auto regex generation", "auto cfg by examples"
источник

AF

Alexander Fedorenko in Natural Language Processing
Alexander Kukushkin
не там не первые шаги, есть статьи, готовые инструменты, может поискать что-то типа "auto regex generation", "auto cfg by examples"
Я не совсем понял, что такое "первые шаги".
При анализе результатов парсинга, мы определяем объем нераспарсенного текста и те случаи, для которых правила не сработали.
ИМХО анализ нераспарсенного текста и поможет достроить уже имеющиеся правила.
источник

ЕД

Евгений Доронин in Natural Language Processing
Товарищи, подскажите, пожалуйста.
Нужна система, которая будет давать подсказки ответов для операторов поддержки.
Сценарий такой:
1. Пользователь обратился с каким-то вопросом(на русском языке), попал на оператора.
2. Система оператору дает рекомендацию что ответить(список ответов).
3. Оператор может :
1. ответить в точности так, как посоветовала система
2. отредактировать ответ
3. ввести свой

В случае 1 и 2 хочется, чтобы система это учла и далее выдачу сделала более релевантной(не приходилось бы править).

Вопросы:
1. Как такие системы могут называться, чтобы их искать?
2. Есть ли готовые(open-source) решения?
3. Или из каких компонентов можно сложить? Какие подходы можно попробовать?

Кажется, что это поиск, но не ясно как "переобучать" выдачу
источник

AF

Alexander Fedorenko in Natural Language Processing
Евгений Доронин
Товарищи, подскажите, пожалуйста.
Нужна система, которая будет давать подсказки ответов для операторов поддержки.
Сценарий такой:
1. Пользователь обратился с каким-то вопросом(на русском языке), попал на оператора.
2. Система оператору дает рекомендацию что ответить(список ответов).
3. Оператор может :
1. ответить в точности так, как посоветовала система
2. отредактировать ответ
3. ввести свой

В случае 1 и 2 хочется, чтобы система это учла и далее выдачу сделала более релевантной(не приходилось бы править).

Вопросы:
1. Как такие системы могут называться, чтобы их искать?
2. Есть ли готовые(open-source) решения?
3. Или из каких компонентов можно сложить? Какие подходы можно попробовать?

Кажется, что это поиск, но не ясно как "переобучать" выдачу
Если вы ее будете делать как поисковую, то тогда будете ее  переиндексировать на новых данных.
источник

AF

Alexander Fedorenko in Natural Language Processing
На новых - это либо замененных, либо добавленных, либо и тех и других. Короче, на обновленных, если одним словом)))
источник

AK

Alexander Kukushkin in Natural Language Processing
можете посмотреть https://www.producthunt.com/posts/autofaq
источник

AF

Alexander Fedorenko in Natural Language Processing
👍
источник

ЕД

Евгений Доронин in Natural Language Processing
Посмотрю
источник

ЕД

Евгений Доронин in Natural Language Processing
А оперсорс системы есть?
источник
2018 April 16

AF

Alexander Fedorenko in Natural Language Processing
Евгений Доронин
А оперсорс системы есть?
А ты сам как думаешь?
источник

MM

Max Morozov in Natural Language Processing
Всем привет, кто сталкивался с задачей образования относительных прилагательных от существительного и наоборот, женский -> для женщин, для детей -> детский итд?
источник
2018 April 17

D

Dmitry in Natural Language Processing
Здравствуйте, требуется разбить на предложения текст, полученный от распознавателя речи. Может кто сталкивался с подобной задачей?
источник

AF

Alexander Fedorenko in Natural Language Processing
А формат текста, полученный в результате распознования, имеет какие-то знаки препинания или все идет сплошным набором слов?
источник

D

Dmitry in Natural Language Processing
Alexander Fedorenko
А формат текста, полученный в результате распознования, имеет какие-то знаки препинания или все идет сплошным набором слов?
Сплошным набором слов.
источник

AK

Alexander Kukushkin in Natural Language Processing
источник