Size: a a a

Natural Language Processing

2021 January 26

•••Igor•••... in Natural Language Processing
Ветров
Здравствуйте. Посоветуйте словарь или источник для построения понятицной (словарной) Модели Мира бота, на уровне ребёнка лет 7..10.  Принцип у меня примерно такой: дерево включает буб, берёза, ива, имеет корни, ствол, ветви. Ветви имеют листья, иногда плоды. Плоды включает (есл цитрус) апельсин, лимон, мандарин, (если яблоня) яблоко, (если хвойное) шишка.   И так далее. Нужна иерархия примерно 700 понятий  о мире, действиях, людях. Формат любой читабельный. Буду Очень благодарен всем за помощь.
Бубен у вас есть?
источник

ZZ

Zigfrid Zvezdin in Natural Language Processing
Есть список переписок человека А и разными людьми на русском языке.

Какое существует решение «из коробки», чтобы натренировать модель имитировать А?
источник

SS

Sergey Shulga in Natural Language Processing
Народ, а что сейчас sota в английском ner? Spacy, nltk, allennlp?
источник

ZZ

Zigfrid Zvezdin in Natural Language Processing
Zigfrid Zvezdin
Есть список переписок человека А и разными людьми на русском языке.

Какое существует решение «из коробки», чтобы натренировать модель имитировать А?
Deeppavlov?
источник

EK

Egor Klimov in Natural Language Processing
Добрый день, подскажите, пожалуйста, какие модели лучше использовать для детекции аномалий в текстовых данных (text anomaly detection)?
источник

D

Dmitry in Natural Language Processing
А что у вас за аномалии в тексте?
источник

KL

Kir L in Natural Language Processing
Sergey Shulga
Народ, а что сейчас sota в английском ner? Spacy, nltk, allennlp?
источник

EK

Egor Klimov in Natural Language Processing
Dmitry
А что у вас за аномалии в тексте?
Даны медкарты пациентов, нужно обнаружить редкие заболевания
источник

SS

Sergey Shulga in Natural Language Processing
О, спасибо большое!
источник

D

Dmitry in Natural Language Processing
Egor Klimov
Даны медкарты пациентов, нужно обнаружить редкие заболевания
Медкарты это структуированный текст по шаблону?
источник

EK

Egor Klimov in Natural Language Processing
Dmitry
Медкарты это структуированный текст по шаблону?
Да
источник

AO

Alex Orgish in Natural Language Processing
Ветров
Здравствуйте. Посоветуйте словарь или источник для построения понятицной (словарной) Модели Мира бота, на уровне ребёнка лет 7..10.  Принцип у меня примерно такой: дерево включает буб, берёза, ива, имеет корни, ствол, ветви. Ветви имеют листья, иногда плоды. Плоды включает (есл цитрус) апельсин, лимон, мандарин, (если яблоня) яблоко, (если хвойное) шишка.   И так далее. Нужна иерархия примерно 700 понятий  о мире, действиях, людях. Формат любой читабельный. Буду Очень благодарен всем за помощь.
Wikidata (https://m.wikidata.org/wiki/Q1301303)  или Babelnet (https://babelnet.org/synset?word=bn:00058399n). У сущностей есть свойства is_a, part_of, instance_of, subclass_of.
источник

В

Ветров in Natural Language Processing
•••Igor•••
Бубен у вас есть?
Поясните пожалуйста, зачем нужен бубен и как он работает? А если это сарказм, то в чем проблема вопроса? Заранее спасибо.
источник

OM

Orzhan Mikhail in Natural Language Processing
Zigfrid Zvezdin
Есть список переписок человека А и разными людьми на русском языке.

Какое существует решение «из коробки», чтобы натренировать модель имитировать А?
В соседнем чатике выкладывали такой пример с использованием rugpt3:  https://colab.research.google.com/drive/1tKNLiKhKEYnsQ8hvwTZxbCeoQxvRVI7y?usp=sharing
источник

DD

David Dale in Natural Language Processing
Для русского языка есть тезаурус ruwordnet (пример: дуб), выкачанная копия его второй версии есть в папке прошлогоднего соревнования по обогащению таксономий (ruwordnet.zip) и в моём репозитории python-ruwordnet. Там есть, в частности, отношения "is a" и "composed of" между понятиями (aka синсетами).
источник

DD

David Dale in Natural Language Processing
Ветров
Здравствуйте. Посоветуйте словарь или источник для построения понятицной (словарной) Модели Мира бота, на уровне ребёнка лет 7..10.  Принцип у меня примерно такой: дерево включает буб, берёза, ива, имеет корни, ствол, ветви. Ветви имеют листья, иногда плоды. Плоды включает (есл цитрус) апельсин, лимон, мандарин, (если яблоня) яблоко, (если хвойное) шишка.   И так далее. Нужна иерархия примерно 700 понятий  о мире, действиях, людях. Формат любой читабельный. Буду Очень благодарен всем за помощь.
Это ответ на вопрос про "понятийную модель мира"
источник

DD

David Dale in Natural Language Processing
Zigfrid Zvezdin
Есть список переписок человека А и разными людьми на русском языке.

Какое существует решение «из коробки», чтобы натренировать модель имитировать А?
Если хочется взять готовый текст и переписать его в стиле A, то это задача text style transfer, и она в целом не до конца решённая. Если хочешь, можем обсудить, какие решения можно собрать из плюс-минус готовых кусков.

Если же хочется с нуля сгенерировать текст в стиле А, то для этого действительно лучше всего пофайнтюнить модель типа GPT-2 на текстах данного человека. Но надо понимать, что сгенерированные тексты, хоть и связные, далеко не всегда будут осмысленными.
источник

В

Ветров in Natural Language Processing
David Dale
Это ответ на вопрос про "понятийную модель мира"
А в чем суть сарказма? В ИИ модели мира тем или иным образом на основе словарей строятся уже 40 лет. Я хочу построить для разговорного Бота. Помните, в чем я не догоняю?
источник

В

Ветров in Natural Language Processing
Поясните пож. В че я не догоняю проблему?
источник

DD

David Dale in Natural Language Processing
Ветров
Поясните пож. В че я не догоняю проблему?
Никто не говорил, что вы не догоняете проблему)
Я и Alex подкинули несколько тезаурусов, Игорь пошутил что-то невнятное про бубен. Пока что внятной критики не прозвучало, так что и переходить в защитную позицию, кажется, повода нет)
источник