N
потому, что, конечно, одно дело классифицировать на 10 или сколько там POS, а другое — все цепочки тегов
Size: a a a
2020 October 22
YB
Natalia
потому, что, конечно, одно дело классифицировать на 10 или сколько там POS, а другое — все цепочки тегов
ну, можно UPOS+Feats считать вместо XPOS+Feats.
YB
ну, можно UPOS+Feats считать вместо XPOS+Feats.
и в grameval именно так и делают:
https://github.com/dialogue-evaluation/GramEval2020/blob/master/evaluate.py#L50
только они общую оценку выводят, а не по отдельным секциям.
https://github.com/dialogue-evaluation/GramEval2020/blob/master/evaluate.py#L50
только они общую оценку выводят, а не по отдельным секциям.
N
а в теггере у DP всё через запятую вообще, похоже:
http://docs.deeppavlov.ai/en/master/features/models/morphotagger.html (и мб качество мерялось именно так — я, если честно, детального пояснения не вижу, кажется просто наиболее очевидным)
http://docs.deeppavlov.ai/en/master/features/models/morphotagger.html (и мб качество мерялось именно так — я, если честно, детального пояснения не вижу, кажется просто наиболее очевидным)
YB
Natalia
а в теггере у DP всё через запятую вообще, похоже:
http://docs.deeppavlov.ai/en/master/features/models/morphotagger.html (и мб качество мерялось именно так — я, если честно, детального пояснения не вижу, кажется просто наиболее очевидным)
http://docs.deeppavlov.ai/en/master/features/models/morphotagger.html (и мб качество мерялось именно так — я, если честно, детального пояснения не вижу, кажется просто наиболее очевидным)
http://ufal.mff.cuni.cz/udpipe/1/models
russian - SynTagRus — нет XPOS.
Russian-GSD — это вики, от неё толку мало.
Russian-Taiga — серебряный корпус, толку мало.
http://ufal.mff.cuni.cz/udpipe/2/models — у меня не открывается.
russian - SynTagRus — нет XPOS.
Russian-GSD — это вики, от неё толку мало.
Russian-Taiga — серебряный корпус, толку мало.
http://ufal.mff.cuni.cz/udpipe/2/models — у меня не открывается.
N
ну UFEATS вроде есть у всех :)
ну энивей, как раз поэтому я и говорила, что в теории, конечно, круто бы сделать чуть доступней и модели за пределами UDPipe, там на редких словах хватает косяков, кажется
ну энивей, как раз поэтому я и говорила, что в теории, конечно, круто бы сделать чуть доступней и модели за пределами UDPipe, там на редких словах хватает косяков, кажется
YB
Natalia
ну UFEATS вроде есть у всех :)
ну энивей, как раз поэтому я и говорила, что в теории, конечно, круто бы сделать чуть доступней и модели за пределами UDPipe, там на редких словах хватает косяков, кажется
ну энивей, как раз поэтому я и говорила, что в теории, конечно, круто бы сделать чуть доступней и модели за пределами UDPipe, там на редких словах хватает косяков, кажется
надо померить будет кому-то, метрика в grameval есть. только там датасеты косячные немного. сам наблюдал, как одни и те же слова были размечены немного по-разному в FEATS в разных датасетах, возможно где-то до UD 2.6 разметку не доапдейтили.
UDPipe 1 по Naeval вообще от всех сильно отстаёт по всем параметрам, а UDPipe2 никто не натренировал и не выложил пока.
UDPipe 1 по Naeval вообще от всех сильно отстаёт по всем параметрам, а UDPipe2 никто не натренировал и не выложил пока.
N
там странные датасеты, я смотрела немножко в начале года, да
N
но лучше хоть какие-то!
DK
датасеты в грамэвале странные, это правда, и разметка не всегда консистентная
YB
вообще, датасеты там клёвые, главное — они большие.
а ошибки модель сама обобщит. просто не ждите от идеальной модели 100% по их метрикам из-за ошибок.
а ошибки модель сама обобщит. просто не ждите от идеальной модели 100% по их метрикам из-за ошибок.
YB
а для того, чтобы показать, насколько разметка влияет и насколько UD меняется со временем: метрика по POS у меня на 5% меняется между версиями SynTagRus-v1 и SynTagRus-v2, UAS на 1.5%, LAS на 3%. между подверсиями v2 поменьше конечно, но думаю 1% точно будет.
N
вообще, датасеты там клёвые, главное — они большие.
а ошибки модель сама обобщит. просто не ждите от идеальной модели 100% по их метрикам из-за ошибок.
а ошибки модель сама обобщит. просто не ждите от идеальной модели 100% по их метрикам из-за ошибок.
ну там выглядит скорее как недовалидированная консистентность и мб результат соотношения срочности и размера
N
а для того, чтобы показать, насколько разметка влияет и насколько UD меняется со временем: метрика по POS у меня на 5% меняется между версиями SynTagRus-v1 и SynTagRus-v2, UAS на 1.5%, LAS на 3%. между подверсиями v2 поменьше конечно, но думаю 1% точно будет.
это как раз предсказуемо! и трибанки обновляются, и трибанк трибанку рознь
N
но 5% разницы — это прямо ого
N
там скорее ещё вопрос, кто понимает вообще разницу качества по разным трибанкам как следует, считая разные фишечки по большим выборкам :)
N
и там не всегда только в размере данных дело
YB
Natalia
там скорее ещё вопрос, кто понимает вообще разницу качества по разным трибанкам как следует, считая разные фишечки по большим выборкам :)
вот именно. в naeval 5 сабсетов поэтому. и сразу видно, какая модель чему училась. правда, там train+dev для большей точности, но чую придётся менять скоро.
OR
я релизю сейчас модели для spacy 2.3, которые в 10 раз быстрее DeepPavlov на CPU и при этом сравнимы с ним по качеству.
а в 3.0 будет два варианта моделей: модели с трансформером и эти же модели пойдут без трансформера.
а в 3.0 будет два варианта моделей: модели с трансформером и эти же модели пойдут без трансформера.
Я правильно понимаю, занимаетесь обучением SlovNetBert для русского языка, которая на CPU дает хороший прирост в скорости?
YB
Я правильно понимаю, занимаетесь обучением SlovNetBert для русского языка, которая на CPU дает хороший прирост в скорости?
нет. я spacy-ru делаю. SlovNet делает @alexkuk
речь в том сообщении шла про модели для spacy.
речь в том сообщении шла про модели для spacy.