E
а если в контексте? вообще у меня ощущение, что на английском это не очень звучит, было бы естественнее сказать Smoking is bad for your health
Size: a a a
2021 August 10
AP
To определяет как PART, вариантов не даёт
AP
Наверное естественнее, просто хочется уметь такие предложения с инфинитивом обрабатывать тоже. Если перед этой фразой добавить Doctors say that, то smoke уже верно определяется как VERB
E
Ну вот и ответ :)
AP
Получается, без контекста не особо стоит обращать внимание на такие ошибки?
E
зависит от того, где и как вы будете использовать POS tagging
N
два вопроса: 1) какая модель spacy, 2) почему бы не проверить udpipe и stanza, или там что-то жёстко на фишки spacy завязано?
AP
1. Spacy 3.1.1, модель en_core_web_sm, может кстати lg попробовать.
2. Можно, просто пока работаю со spacy и хотела про неё понять.
2. Можно, просто пока работаю со spacy и хотела про неё понять.
N
ого, а теги там UDшные вообще?
короче, udpipe ewt вполне справляется с таким, так что опять вопросы к авторам моделей spacy
короче, udpipe ewt вполне справляется с таким, так что опять вопросы к авторам моделей spacy
N
не люблю их прежде всего за то, что не всегда понятно, чё за данные
N
в udpipe и stanza очевидно, откуда данные, и ясно, что это конкретные трибанки, которые поддерживаются (по крайней мере самые большие) + даже ясно, куда issues писать
AE
Коллеги, а насколько "рационально" перед обучением модели выкидывать вообще все знаки припинания? т.е. условно превращать предложение натурально в набор слов и всё
E
какой модели? для чего?
AE
для поиска ближайших текстов
E
а сама модель какая?
E
если бертоподобная, то не надо удалять знаки препинания, они важны
AE
пока это буедт w2v, потом уже буду смотреть в более сложные вещи типа берта
AE
т.е. мне нужно в начале какой-то mvp бахнуть
E
если fasttext или подобная, то лучше удалить знаки препинания
AE
Хорошо, я тогда просто это сразу заложу. Спасибо большое!