Ага, через обвязку R mystem семь миллионов слов около 10 минут лемматизирует на i7 8gen.
Я использую mystem параллельно, ускоряет заметно, но не линейно. udpipe на некоторых словах неправильные словоформы выдаёт и не получилось распараллелить
Я использую mystem параллельно, ускоряет заметно, но не линейно. udpipe на некоторых словах неправильные словоформы выдаёт и не получилось распараллелить
Подаю целиком текст как единицу анализа. Получалось примерно 10М слов (20-30 тыс.текстов) отработать минут за 20. 0.05 секунды на текст в среднем. Как разовое предприятие нормально, потом догоняюсь инкрементами каждые несколько минут.
Я использую mystem параллельно, ускоряет заметно, но не линейно. udpipe на некоторых словах неправильные словоформы выдаёт и не получилось распараллелить