OP
Size: a a a
2021 September 04
ЛВ
Большое спасибо, а с русским справится ?
ЛВ
Переслано от Oleg Polivin
ЛВ
Большое спасибо, а как дело с русским обстоят ?
ЛВ
Переслано от Yuri Baburov
Если из простого и готового -- RAKE? https://medium.datadriveninvestor.com/rake-rapid-automatic-keyword-extraction-algorithm-f4ec17b2886c
OP
в PKE сразу несколько алгоритмов, какие-то подойдут и для русского. Там же есть и YAKE, который для любого языка подходит. Но оригинальное воплощение более гибкое:
https://github.com/LIAAD/yake
https://github.com/LIAAD/yake
VS
Добрый вечер. Снова обращаюсь к знатокам, какие есть варианты получения связанных понятий с их сематической близостью из языковых моделей, например bert, что-то вроде исходное слово график и для него, календарь 0.4, гистограмма 0.5 и т.д.?
2021 September 05
N
Добрый день, у кого нибудь есть датасет Пикабу или ссылка на него?
KS
Брать перплексию от фразы в языковой модели. Т5 это из коробки умеет.
VS
Спасибо за наводки, будем думать
N
Нет, нетоксичный датасет, есть ли датасет с диалогами Пикабу? Или он в закрытом доступе?
VS
Не знаю про готовые датасеты, но я пытался парсить Пикабу и не смог: там есть защита. Даже через селениум не пробился, вроде
N
Учту, спасибо
d
Для Пикабу попадалось только вот такое https://pikastat.d3d.info/
d
Помню, что посмотрел на размер, формат и сказал: да проще выпарсить, что нужно самому 😅
VS
Вот не проще оказалось :(
VS
Но может, можно пробиться: я только один вечер на это потратил. Или связаться с администрацией, они обычно идут на контакт
d
Ну тогда 300Гб места на диске и хороший sql запрос поможет отцам русской демократии