Мб там есть типовые решения под такоет

Не совсем поняла, что ты хочешь сделать. Когорты найти по словам?

Да

Распознавание текста, хз я ничего такого не использовала, спроси в чатике продактов, мало ли

Не понятно что нужно в итоге

Как точно нужно кластеризировать и о каких тезисах ты говоришь

среди тысяч запросов справок есть пожелания/требования улучшить функционал. кластеризовать - имею в виду выделить часто повторяющиеся фразы (не слова) или определить принадлежность обращения к определенной тематике

Насколько я смог понять - человек хочет систематизировать кучу мелких текстов по определённым тематикам/когортам/тегам. Принципы разбивки не известны и, скорее всего, должны сформироваться динамически.

Как вариант - считать повторение слов между отзывами, отсекая предлоги и лишние слова. Далее руками убрать из тегов прочий мусор и наслаждаться связями тегов с отзывами. Способ костыльный, но скорее всего единственный (из быстрых).

Как вариант воспользоваться эластиком или сфинксом и попробовать там намутить поиск с неким лингвистическим уклоном. Но решения из коробки 99% нигде не будет

Подобный функционал имеется у плей-консоли в Гугле. Работает отвратительно)

кстати, норм идея

Ну это самое явное. Вогнать в мускул все это и начинать сравнивать рекурсивно) проставить связь между общими словами и текстами
Потом вычищать ненужные совпадения

В итоге останутся теги и связи с текстами + появится категория без тегов

👍

что-то типа этого я уже попробовал, учитывая, что объем данных маленький - это было просто сделать даже тупо экселем. подумал, что есть методы более "сформировавшиеся" и "умные"

Не, готового не будет. Есть желание сделать нормальную реализацию - нужно сфинкс или эластик копать и экспериментировать. Сорян)

История из жизни. Как-то искали мы с прогерами некоторые готовые и бесплатные решения, ничего нормального не нашли и прогеры батхёртили, мол ничего нормального нету, все жадные козлы.
В итоге написали своё через месяц. Я и говорю ребятам - давайте поделимся с людьми, пусть пользуются. В ответ мне сказали:"мы что, дураки? Ещё бесплатно не выкладывали хорошие реализации!"

Вот такая история) Думаю, она объясняет многое

спасибо большое за инфу, оч полезно.
а насчет истории - так всегда)))

Всем привет!
Админы, кажется пора почистить группу от мёртвых дух, уж очень много deleted accounts

Message from Mikhail Romashov deleted. Reason: new user and external link (?)

Блин, ссылка.. Попробуем так https:// ailev.livejournal. com/1479838. html
Отлично, сработало!

А что там?

Я так понимаю больше желающих обсудить тему системного мышления.
Вопрос: кто-нибудь проходил курс Леванчука или его книге читал?