Nerus — большой синтетический русскоязычный датасет
https://natasha.github.io/nerus

Месяц назад был пост про компактный NER из проекта Natasha https://natasha.github.io/ner. Получилось сжать модель в 75 раз, проиграть 1 процентный пункт SOTA BERT от DeepPavlov. Главный ингредиент там огромный синтетический датасет. Компактные модели начинают нормально работать только если обучить их на сотнях тысяч примеров. Мы публикуем архив в репозитории Nerus https://github.com/natasha/nerus, чтобы другие исследователи могли повторить и улучшить наше решении. Про качество разметки и Python-интерфейс в https://natasha.github.io/nerus.

В https://github.com/buriy/spacy-ru на Nerus обучают качественные русские модели для SpaCy, вроде бы получается даже лучше чем в Natasha.

стоит еще упомянуть что где-то 3.5% синтаксических деревьев содержат циклы или больше одного root-а, поэтому могут озадачить парсеры conllu

Это где такие деревья?) в нерусе?

стоит еще упомянуть что где-то 3.5% синтаксических деревьев содержат циклы или больше одного root-а, поэтому могут озадачить парсеры conllu

ну и морфологию надо дополнительно повалидировать, чтобы согласовать с синтаксисом :)

Это как?

Коллеги, а как вы вытаскиваете стоп слова? Я пока дошел только до того что выкинул часть из самых популярных слов которые посчитал не несущими контентекстного смысла.

предварительно заданым списком

Коллеги, а как вы вытаскиваете стоп слова? Я пока дошел только до того что выкинул часть из самых популярных слов которые посчитал не несущими контентекстного смысла.

Крутые пацаны не вытаскивают стоп слова самостоятельно, а дают своим моделям выучить для них ничтожно маленькие веса.

Соре я обучаю на ноуте