ГД
В stringdist есть метод расчета lqs - longest common substring. Может, этот метод подойдёт? Хотя искать такими способами общие корни - немного бег по граблям...
Size: a a a
2021 May 20
ГД
Интересно, почему в dog и flower результат - 0? У них же общая буква "o"
IS
lcs, наверное, здесь это как раз и подойдет.YK
данные выглядят так:
a = c(‘менеджер в торговле’, ‘,главный бухгалтер’, ‘специалист’)
b = c(‘торговый представитель’, ‘ведущий специалист с бухгалтерскими функциями’, ‘сценарист’)
задача: найти идентичные корни, но без оверкилла
a = c(‘менеджер в торговле’, ‘,главный бухгалтер’, ‘специалист’)
b = c(‘торговый представитель’, ‘ведущий специалист с бухгалтерскими функциями’, ‘сценарист’)
задача: найти идентичные корни, но без оверкилла
NK
ГД
Longest common substring будет и на общие буквы срабатывать. В этом некоторая проблема...
ГД
Слово начинается с одной буквы - уже общий корень... Разве что фильтровать по длине - не менее чем, n букв. Но есть ещё длинные суффиксы
IS
по-моему, здесь утилитарная задача.
разложить резюме из интернета по собственным корзинкам.
эпизодические сбои некритичны.
это этап первичной фильтрации и сортировки.
разложить резюме из интернета по собственным корзинкам.
эпизодические сбои некритичны.
это этап первичной фильтрации и сортировки.
NK
"а неудачники нам не нужны"? )
NK
думаю, что 5-6 букв будет достаточно именно для конкретной задачи, а не для исходного абстрактного примера. тут все-таки речь о конкретных должностях, пересечение там, где оно должно быть, будет большим
IS
для них отдельная корзинка — "неклассифицированные"
ГД
Я бы тогда все резюме лемматизировал через udpipe, потом tf-idf по леммам и кластеризация с косинусной дистанцией. Только по названию должности - много левого будет. Одних менеджеров миллион разных
IS
постановка задачи — полный абстракт. подстройка параметров по реальным датасетам позволит эту сортировку сделать максимально возможным образом. остальное HR досмотрят сами.
Юля, бизнес-задачу правильно угадал?
Юля, бизнес-задачу правильно угадал?
IS
тут же без полета просили. а так,
udpipe хорошоГД
Может, ещё LDA перед кластеризацией
ГД
Ну это не полет, кода на так уж много
IS
Юля сама его напишет? вопрос, скорее, в этом.
Цитата: "всем привет, есть простая задача"
Цитата: "всем привет, есть простая задача"
YK
Юля в курсе, что такое lda и косинусное расстояние, спасибо за беспокойство.
IS
Регулярки уже предлагали? Там если корпус слов известен - можно масок руками наделать
EP
У меня кровь из глаз потекла от такой фамильярности )