YB
Size: a a a
2020 August 27
OR
А где-то код или в деле можно это глянуть?
FF
А где-то код или в деле можно это глянуть?
Я так понимаю, что здесь https://proj-news-viz-flask.herokuapp.com/
AB
А где-то код или в деле можно это глянуть?
Не( этот код я делаю в рамках работы в ТАСС. Наброски концепции в статье
FF
Я так понимаю, что здесь https://proj-news-viz-flask.herokuapp.com/
А нет, это не то
AB
На питоне и R делал, без привлечения библиотек lda, artm, dbscan. Хотя их пробовал тож
OR
Не( этот код я делаю в рамках работы в ТАСС. Наброски концепции в статье
Понимаю)
YB
Здравствуйте. Есть подзадача понять является название улицы именем человека (проспект Маяковского) или просто образовано от него и таким не является (Кутузовский проспект). Ярги это легко делает: для Маяковского list(addr_extractor.parser.findall(text))[3].tokens[2].forms[0] возвращает
Form('маяковский', Grams(NOUN,Sgtm,Surn,anim,gent,masc,sing)), а для Кутузовского - Form('кутузовский', Grams(ADJF,gent,masc,sing)) Где хранится атрибут Sgtm нашёл: grams.number. А вот где лежит так нужный мне Surn - ну никак. Можно взять из фрозен сета grams.values - но ведь должен же он где-то явно лежать.для pymorphy пишут 'Surn' in word.tags . там их 120 штук, и не все из них в какие-то доп поля добавлены. в доп полях скорее всего только те, что нужны для согласования слов друг с другом.
JG
для pymorphy пишут 'Surn' in word.tags . там их 120 штук, и не все из них в какие-то доп поля добавлены. в доп полях скорее всего только те, что нужны для согласования слов друг с другом.
Спасибо.
V
Здравствуйте, а как сейчас обстоят дела с корректировкой опечаток и простых грамматических ошибок в русском тексте?
Есть ли что-то по интереснее, чем например JamSpell?
Есть ли что-то по интереснее, чем например JamSpell?
AK
Здравствуйте, а как сейчас обстоят дела с корректировкой опечаток и простых грамматических ошибок в русском тексте?
Есть ли что-то по интереснее, чем например JamSpell?
Есть ли что-то по интереснее, чем например JamSpell?
очень плохо
V
очень плохо
Звучит грустно)
YB
Здравствуйте, а как сейчас обстоят дела с корректировкой опечаток и простых грамматических ошибок в русском тексте?
Есть ли что-то по интереснее, чем например JamSpell?
Есть ли что-то по интереснее, чем например JamSpell?
Deeppavlov утверждает, что он поточнее... Jamspell неплох идейно (хотя и исправляет только слова), но на большом корпусе его не обучить из-за бага. Надо, чтобы кто-то уже написал свой нормальный опенсорсный...
V
Deeppavlov утверждает, что он поточнее... Jamspell неплох идейно (хотя и исправляет только слова), но на большом корпусе его не обучить из-за бага. Надо, чтобы кто-то уже написал свой нормальный опенсорсный...
А на насколько большом корпусе возникает баг? Я обучал на ~300Мб текста, где-то полтора года назад, и в целом нормально работает. Лучше, чем hunspell (или как его) и встроенные в браузер/LibreOffice. Но всё равно слабоват
YB
А на насколько большом корпусе возникает баг? Я обучал на ~300Мб текста, где-то полтора года назад, и в целом нормально работает. Лучше, чем hunspell (или как его) и встроенные в браузер/LibreOffice. Но всё равно слабоват
Вот 1 Гб кажется предел. А корпуса можно найти на 320 гб (142 Либрусек+156 Оскар + 15 Гб новостей + 5 Гб Википедия).
V
Понял, спасибо большое)
Попробую тогда диппавлова поковырять
Попробую тогда диппавлова поковырять
V
Вопрос по DeepPavlov: нет ли случайно у них скриптов, которыми они проводили сравнение своих моделей с другими решениями в задаче Spelling Correction? http://docs.deeppavlov.ai/en/master/features/models/spelling_correction.html#comparison
Судя по всему, в сравнении они использовали стандартную маленькую модель для JamSpell, которая очень слабая. Хотелось бы чисто из любопытства провести повторное сравнение по их методике, но с другими моделями для JamSpell, по больше
Судя по всему, в сравнении они использовали стандартную маленькую модель для JamSpell, которая очень слабая. Хотелось бы чисто из любопытства провести повторное сравнение по их методике, но с другими моделями для JamSpell, по больше
AP
Коллеги, добрый день. Встречались ли Вам работы по так называемым "Language specific features" в русском языке в контексте классификации текста. Интересуют именно "фишки" Русского языка, отличающие его от других. Аналогия в Немецком языке - очень длинные слова, получающиеся при конкатенации других простых слов.
OR
Кто-то сталкивался с проблемой установки natasha.markup? Хочу достать именованные сущности из текста (имена, адреса, даты), но при установке пишет, что нет соответствующей версий, удовлетворяющей natasha.markup. Какие для неё требования по версиям?