Size: a a a

Natural Language Processing

2020 October 04

SZ

Sasha Zhu in Natural Language Processing
Порядковые, самостоятельные, служебные
источник

DK

Denis Kirjanov in Natural Language Processing
Zigfrid Zvezdin
У spaCy есть POS (part of speech) и более детализированные TAG - https://spacy.io/api/annotation#pos-en - например, не просто adjective, но adjective, comparative или adjective, superlative. Для существительных это будет, например, noun, proper singular или noun, plural.
А как tag назвать по-русски? Есть какое-то устойчивое название?
граммема
источник

ZZ

Zigfrid Zvezdin in Natural Language Processing
Sasha Zhu
Части речи
Часть речи - это существительное, а мне нужно «существительное, им. падеж; глагол, прош. время, ед.ч»
источник

ZZ

Zigfrid Zvezdin in Natural Language Processing
Denis Kirjanov
граммема
Хм, уже ближе, спасибо

https://ru.m.wikipedia.org/wiki/Граммема

Видимо, мне нужна совокупность граммем
источник

DK

Denis Kirjanov in Natural Language Processing
время -- это грамматическая категория
прошедшее время -- это граммема

вам нужен набор граммем, все верно, да
источник
2020 October 05

YB

Yuri Baburov in Natural Language Processing
Zigfrid Zvezdin
У spaCy есть POS (part of speech) и более детализированные TAG - https://spacy.io/api/annotation#pos-en - например, не просто adjective, но adjective, comparative или adjective, superlative. Для существительных это будет, например, noun, proper singular или noun, plural.
А как tag назвать по-русски? Есть какое-то устойчивое название?
вообще, там в текущей версии используется
"XPOS": Language-specific part-of-speech tag
из CONLLU : https://universaldependencies.org/format.html
если её нет — то используется UPOS — Universal part-of-speech tag.
а граммемы лежат отдельно, в FEATS.
так что это не "набор граммем", а "часть речи" всё же.
"часть речи с дополнительными грамматическими признаками (граммемами)", если в вашем случае, или если в случае https://cs.nyu.edu/grishman/jet/guide/PennPOS.html .
источник

N

Natalia in Natural Language Processing
эээээээээээ, НЕТ
источник

N

Natalia in Natural Language Processing
тем не менее, XPOS - это какой угодно набор тегов в исходной аннотации, а в FEATS его расшифровка в признаки по системе UD
источник

YB

Yuri Baburov in Natural Language Processing
Natalia
эээээээээээ, НЕТ
поясните, а то непонятно, к чему относится ваша фраза
источник

N

Natalia in Natural Language Processing
к тому, что чистая "часть речи" в этих колонках только UPOS
источник

YB

Yuri Baburov in Natural Language Processing
Natalia
к тому, что чистая "часть речи" в этих колонках только UPOS
ну я так и сказал
источник

N

Natalia in Natural Language Processing
ну это почему-то ещё читается как опровержение сказанного Денисом и автором вопроса

и если нужно "сущ-е, им. падеж", то нужно сочетание UPOS и FEATS
источник

N

Natalia in Natural Language Processing
но, ок, это, видимо, была реплика именно что про spacy
источник

N

Natalia in Natural Language Processing
но всё равно непонятно
допустим, ок, там XPOS
но это как раз и будет тогда набором граммем + тегом части речи два в одном, просто часто в каком-нибудь чужом формате
источник

YB

Yuri Baburov in Natural Language Processing
в файле CONLLU вы ставите UPOS и XPOS, а spacy использует XPOS, если он есть, и UPOS, если его нет.
это она называет внутри TAG.
также, если есть морфология, в TAG вообще может попасть всё что угодно, в зависимости от tag_map.py ( https://spacy.io/usage/adding-languages#tag-map )
источник

YB

Yuri Baburov in Natural Language Processing
Yuri Baburov
в файле CONLLU вы ставите UPOS и XPOS, а spacy использует XPOS, если он есть, и UPOS, если его нет.
это она называет внутри TAG.
также, если есть морфология, в TAG вообще может попасть всё что угодно, в зависимости от tag_map.py ( https://spacy.io/usage/adding-languages#tag-map )
таким образом, не все граммемы могут участвовать в этих тегах.
хотя, по-умолчанию, теги формируются как сущ__им.п.__ед.ч.__одуш
источник

YB

Yuri Baburov in Natural Language Processing
так что вот так и получаем "часть речи с (какими-то) дополнительными грамматическими признаками (граммемами)".
источник

N

Natalia in Natural Language Processing
а как Spacy вообще умудряется это делать, если UPOS обязательное поле, а в XPOS как раз может ничего не быть
источник

YB

Yuri Baburov in Natural Language Processing
Natalia
а как Spacy вообще умудряется это делать, если UPOS обязательное поле, а в XPOS как раз может ничего не быть
источник

N

Natalia in Natural Language Processing
Yuri Baburov
так что вот так и получаем "часть речи с (какими-то) дополнительными грамматическими признаками (граммемами)".
ну это классика из пеннского трибанка, но вообще и не только (почти любой xpos — это оно)

но ок, я поняла суть реплики
источник