Спасибо, впервые подошёл к такой задаче.

Pullenti+pymorphy

Всем доброй ночи

Буду рад, если поможите направить на путь истинный

Такая проблема, не могу составить алгоритм сортировки. Суть такова. Есть набор ключевых слов и мне их нужно разбить по группам. Проблема в том, что у этих ключевых слов чаще всего есть общие значения, по которым сортировать нельзя, так как все будет в одной группе.
Если брать по похожим строкам, то нужно вносить исключения в алгоритм, что так себе идея, так как нужно делать лишние действия. Сегодня находил вебсервис, который позволяет это реализовать, ноо, там есть определенное ограничение по кол.ву строк, что мне не подходит.
У нас есть например 100 ключевых слов, в которых есть слово "купить" но с этим словом есть и другие слова, которые могут отвечать за х-ку, и что-то еще. Таких слов в наборе может быть неизвестно сколько. Мне нужен алгоритм, который будет сортировать эти слова не по слову "купить", а по их х-ке, но х-ки, заранее неизвестны.

Пример сервиса
https://miratext.ru/clustering_keywords

Пример того, как сортируются слова. Это гр-1

Это гр -2

и еще распределение по группам

Объясните пожалуйста в какую сторону копать, мне кажется можно это реализовать через банальный алгоритм сортировки, ноооо, закрадываются жуткие сомнения

Заранее спасибо

если я правильно понял,
это не сортировка. это какая-то кластеризация (возможно, с пересечениями).
ну, скажем, находи популярные слова (или популярные префиксы).
по этим словам делай кластера.
тогда, при выводе кластера ты уже знаешь, какое слово у тебя является ключевым словом кластера, и выводишь связанные с ним другие слова.

Даже в названии сервиса написано, что это задача кластеризации. 😉 Возьми контекстуально зависимые эмбединги и попробуй покластеризовать. Если колличество кластеров заранее известно возьми к-nn за бэйзлайн. Если не известно, то hdbscan.

Народ, где можно взять частотный словарь русского языка максимально полный? Мне нужен простой txt-формат вида "слово-частота". Есть какие-то готовые?

Основной, как я понимаю, тот который на основе НКРЯ от 2011 года?

Можете кто-то знает открытий датасет для sentimental analysis, интересует украинский или русский языки.

Спасибо за советы,  буду пробовать

I have medical data prescription- take 2 pills every day,
take 1 1/2 tablets 2 times every month", "take 1.5 tablets for the next 10 days,
take 1 & 1/2 (one & one-half) tablets by mouth once daily

I want to extract the no. of tablets to be taken(the no. written before`pills`, tablets)
How to do that?

Don't want to hard code it.

I think the best is just to hard code it to be honest