Size: a a a

Natural Language Processing

2018 March 28

D

Denis in Natural Language Processing
там только статья с общим описанием, ни алогоритма, ни решения готового на сколько я понял 🙁
источник

D

Denis in Natural Language Processing
хотя описано всё очень "вкусно", вот что-то такое и ищу - тут оно даже назад в контексте исходной статьи может возвращаться и брать оттуда части порождаемого предложения
источник
2018 March 29

AK

Alexander Kukushkin in Natural Language Processing
George Shushuev
Пара вопросов:
Чем лучше определять пол по ФИО?
Чем лучше определять - слово (набор слов через пробел для сложносочинённых именований) это Ф или И или О? Нужно для сортировки ФИО в случае когда оно задано одной строкой.
1. Открытых готовых решений мне не известно, но можно сделать так: взять дамп  https://vk.com/catalog.php https://github.com/alexanderkuk/crawl-vk-catalog , для каждого имени посчитать как часто оно встречается с фамилиями на "ова", "ева", "ина", "ая", это будут женские фамилии, по аналогии с мужскими
2. Можно взять http://natasha.readthedocs.io/ru/latest/#simplenamesextractor
источник

AF

Alexander Fedorenko in Natural Language Processing
Denis
Кто-нибудь сталкивался с задачей автоматического реферирования (automatic summarization)?
Есть ли готовые решения, которые не просто берут целиком подряд идущие предложения?
Библиотека имеет реализуцию 8 алгоритмов сумаризации
Module for automatic summarization of text documents and HTML pages. https://pypi.python.org/pypi/sumy
источник

D

Denis in Natural Language Processing
Alexander Fedorenko
Библиотека имеет реализуцию 8 алгоритмов сумаризации
Module for automatic summarization of text documents and HTML pages. https://pypi.python.org/pypi/sumy
Спасибо! Отличный вариант, буду тестировать 🙂
источник

S★

Serge ★ in Natural Language Processing
George Shushuev
Да, не срочно, конечно. 😉 Спасибо что откликнулись.
Ооо. Вот что я узнал.
Как было дело
Был какой-то объем кода с pymorphy
На питоне естественно
И было решено заиспользовать его с эластиком
Иии... был написан плагин для эластика, который на каждый вопрос по сокету лезет к запущенному python-процессу и просит его разобрать фразу
источник

S★

Serge ★ in Natural Language Processing
Есть еще вот такая штука: https://github.com/anti-social/jmorphy2
источник

S★

Serge ★ in Natural Language Processing
Там уже готовый плагин
Но про него ничего сказать не могу
источник
2018 April 04

В

Владислав in Natural Language Processing
У кто-нибудь получалось установить себе DAWG (не путать с DAWG-python) ???
источник

DV

Dima Veselov in Natural Language Processing
Да, конечно.
источник

В

Владислав in Natural Language Processing
источник

В

Владислав in Natural Language Processing
Как это можно разрешить
источник

PS

Paul Smirnov in Natural Language Processing
может в версии питона косяк?
источник

D

Denis in Natural Language Processing
тут сразу несколько косяков может быть: в аноконде, и в том, что всё это дело инсталлится из под винды, а на сколько я помню (могу ошибаться) DAWG что-то из C кода должен скомпилить
источник

AP

Alexander Pozharskiy in Natural Language Processing
источник

AZ

Alexandr Zamaraev in Natural Language Processing
В путях, или других переменных окружения есть русские буквы?
источник

AZ

Alexandr Zamaraev in Natural Language Processing
Похоже какая-то переменная окружения в кодировке cp1251 или cp866
источник

В

Владислав in Natural Language Processing
Alexandr Zamaraev
В путях, или других переменных окружения есть русские буквы?
Русских букв в путях/окружениях нет
источник

AZ

Alexandr Zamaraev in Natural Language Processing
Ага, если деталнее рассмотреть стектрейс, понятно, что вылетает на попытке распарсить ответ какой-то утилиты. А она отдаёт свой stdout в чём-то отличном от utf-8.
Попробуй переключить консоль в utf-8 - chcp 65001
источник

AZ

Alexandr Zamaraev in Natural Language Processing
Ну и если пользуешся 10кой - можно врубить уровень поддержки linux и в нём стандартным способом всё установить. :)
источник