Телеграмм чат группы natural_language

Так RasaNLU зависит от spacy))

Install Pretrained Models for Spacy & Mitie

In order to use the Spacy or Mitie backends make sure you have one of their pretrained models installed.

python -m spacy download en

12:00пожаловаться #1

AF

Похоже я напутал...
As a reference, the following contains a listing of the licenses of the different dependencies as of this writing. Licenses of minimal dependencies:
required package License
gevent MIT
klein MIT
boto3 Apache License 2.0
typing PSF
future MIT
six MIT
jsonschema MIT
matplotlib PSF
requests Apache Licence 2.0

Mikita Kurlovich in Natural Language Processing

12:02пожаловаться #2

MK

Выходит, никто так и не завел spaCy под русский язык? Соответственно и на iPavlov’e никак?

12:46пожаловаться #3

AF

Никто не хочет рутиной заниматься: модель готовить

12:47пожаловаться #4

a

Получается для русского языка сейчас вариант только SaaS Dialogflow ?

13:39пожаловаться #5

AF

Смотря, какие задачи вы имеете в виду? И какие сроки вы видите для своих задач? Если долгий период, то имеет ли смысл зависить от чужих Saas?

Mikita Kurlovich in Natural Language Processing

13:45пожаловаться #6

MK

SaaS, конечно, самый неудобный кейс. Поэтому и вопрос про альтернативы. Может какой-нибудь fasttext классификатор + NER можно под эту задачу прикрутить..

14:21пожаловаться #7

a

Alexander Fedorenko

Смотря, какие задачи вы имеете в виду? И какие сроки вы видите для своих задач? Если долгий период, то имеет ли смысл зависить от чужих Saas?

как всегда все нужно очень быстро)

14:54пожаловаться #8

a

Mikita Kurlovich

SaaS, конечно, самый неудобный кейс. Поэтому и вопрос про альтернативы. Может какой-нибудь fasttext классификатор + NER можно под эту задачу прикрутить..

да от SaaS не понятно что можно ожидать. Особоенно если это SaaS от гугла

Alexander Kukushkin in Natural Language Processing

14:55пожаловаться #9

AK

Может быть вы опишите конкретно какую задачу хотите решить? Примеры диалогов, желаемый вывод программы?

15:04пожаловаться #10

a

задача простая. например записать клиента ко врачу. при этом предварительно записать жалобы и привести их к удобной форме для врача

15:30пожаловаться #11

D

Text classification is a core problem to many applications, like spam detection, sentiment analysis or smart replies. In this tutorial, we describe how to build a text classifier with the fastText tool.

в документации fastText есть пример как обучить классификатор получать метки по заданному тексту: https://fasttext.cc/docs/en/supervised-tutorial.html

fasttext.cc

Text classification · fastText

15:49пожаловаться #12

D

если не полениться и первоначально составить хороший датасет, где для текстов жалоб выделить важные части, то можно получить как раз примерно то, что нужно, но вот о итоговом качестве работы классификатора сложно сказать что выйдет в результате

15:51пожаловаться #13

D

для конкретно этой задачи можно воспользоваться жалобами, которые есть у приложения яндекс.здоровье (или как-то так называется)

15:52пожаловаться #14

AF

abc

задача простая. например записать клиента ко врачу. при этом предварительно записать жалобы и привести их к удобной форме для врача

ИМХО для врача удобнее как раз может оказаться изначальный текст от больного. А обработка скорее нужна для автодиагноза))

15:52пожаловаться #15

D

да, тоже верно

15:52пожаловаться #16

AF

Ну или может еще чтобы сортировать обратившихся по врачам

Alexander Kukushkin in Natural Language Processing

15:54пожаловаться #17

AK

Ещё один пример-урок по yargy, разбор записей списка экстримистких материалов минюста (в тему блокировки телеграма=)) http://nbviewer.jupyter.org/github/natasha/yargy-examples/blob/master/03_fsem/notes.ipynb#Extractor

nbviewer.jupyter.org

Notebook on nbviewer

Check out this Jupyter notebook!

Alexander Kukushkin in Natural Language Processing

21:39пожаловаться #18

AK

@zeroweb Вы могли бы выложить датасет с диалогами. Теоритечски мы могли бы подготовить урок-пример по этим данным. На самом деле, мне самому было бы интересно попробовать Наташу на теме про чат-ботов

21:41пожаловаться #19

a

Alexander Kukushkin

@zeroweb Вы могли бы выложить датасет с диалогами. Теоритечски мы могли бы подготовить урок-пример по этим данным. На самом деле, мне самому было бы интересно попробовать Наташу на теме про чат-ботов

попробую. как будет готово напишу