ЕТ
Я вижу, что 33 слова он обрабатывает около тридцати секунд.
Size: a a a
2020 June 03
Ю
А насколько большие тексты обрабатывали? 7 млн слов, например.
Не знаю, я не работал с таким объемом
ЕТ
Не знаю, я не работал с таким объемом
Окай, надеюсь, не вылетит.
Ю
Я вижу, что 33 слова он обрабатывает около тридцати секунд.
А сколько напрямую в командной строке винды?
GS
mystem тормозит при вызове по одному слову через командную строку как ужас вообще что. пробовал из R. может кнчн что-то не так делал. но пришлось выкинуть. (<100к строк запихивал)
ЕТ
А сколько напрямую в командной строке винды?
Это не пробовал ещё.
ЕТ
Ага, он завис.
GS
он стартует долго.
ЕТ
он стартует долго.
А, отлично. Надеюсь, моей оперативки хватит на это всё, потому что на сортировку триграмм её не хватило. 32Гб оперативки уже мало в наши дни, что делается.
Л
"Доверительные интервалы для коэффициентов в логистической регрессии не должны пересекать 0 (или 1 для логитов). " это верно или нет?) кто подскажет
ЕТ
"Доверительные интервалы для коэффициентов в логистической регрессии не должны пересекать 0 (или 1 для логитов). " это верно или нет?) кто подскажет
В случае, если они пересекают, мы не можем быть уверены, положительны они или нет. Соответственно, лучше бы им этого не делать.
Л
Это понятно) но меня преподаватель исправил, сказав что НАОБОРОТ
Л
0 для логитов
Л
хочу вступить в спор но не уверена
Л
или всё-таки, для шансов – 1, для логитов – 0 ?
ЕТ
Ага, через обвязку R mystem семь миллионов слов около 10 минут лемматизирует на i7 8gen.
ГД
А на R вообще нет нормальных лемматизаторов для русского, что ли? Кажется, я уже все возможные перегуглил, есть только стеммеры.
udpipe довольно удобный https://cran.r-project.org/web/packages/udpipe/index.html
ГД
По скорости. Я разбивал на отдельные слова, брал уникальные, лемматизировал их. Получал словарик к корпусу и его джойнил. Это неизмеримо быстрее, но качество лемматизации немного страдает.
2020 June 04
ЕТ
По скорости. Я разбивал на отдельные слова, брал уникальные, лемматизировал их. Получал словарик к корпусу и его джойнил. Это неизмеримо быстрее, но качество лемматизации немного страдает.
Спасибо. Пропустил почему-то, что он умеет в русский язык.
a
Спасибо. Пропустил почему-то, что он умеет в русский язык.
Он умеет, но mystem лучше