Я согласен, что нужно сначала смотреть на сами тексты, серебряной пули нет, надо от задачи отталкиваться.

Для кластеризации коротких текстов ещё можно попробовать GSDMM

статья dbgroup.cs.tsinghua.edu.cn/wangjy/papers/KDD14-GSDMM.pdf
имплементация https://github.com/rwalk/gsdmm

А чего хочется? Прсто из одного  получить другой, представление в другом пространстве?

В смысле из одной кучки цифр, получить другую куску цифр?

Кластеризация не самоцель, но средство

А вы заранее знаете, сколько кластеров вы хотите получить на выходе?

Коллеги, подскажите, пожалуйста, есть задача такая:
Дано:
1) размеченные тексты по категориям (не очень много)
2) Данные того же распределения (того же источника), но неразмеченнные
Нужно: разложить неразмеченные данные по размеченным категориям + скинуть все что не подходит в мусор
Куда я думаю:
1) Тематическое моделирование (знаю про Seeded LDA, но кажется из BigARTM можно выжать больше - но не знаю можно ли там задавать что некоторые тексты точно пренадлежат одной теме и если можно, то как?)
2) Классификация эмбедингов после предобученных моделей

С классификацией есть проблема - мусора в разметке нет, только целевые категории, а модель все равно разложит хоть куда нибудь

Есть пул сообщений от клиентов. Например, клиент пишет, что заплатил за услугу, которую он не подключал и хочет вернуть деньги. Или же обращается с проблемой по услуге, например оплатил, а она не работает. Или какие-то баги в приложении. Иногда это сообщения от клиентов, иногда это запись разговора из колцентра, иногда сотрудник оставляет коммент в духе "клиент хочет то-то и то-то". Для упращения, аналитики попросили меня создать модель кластеризации, которая бы разделяла пул этих текстов на категории: "отключить, отменить, вернуть" или "не работает, не отражается" и т.п.

Возможно, на самом деле тебе нужна модель для классификации на заранее выбранные категории.
Не думал в этом направлении?

Нет, но пока тестируем с разным количеством.

Можно обучить много независимых бинарных классификаторов на каждый класс, тогда потенциальным "мусором" можно будет счесть те тексты, для которых предсказанные вероятности всех классов не очень высокие.

Думал, но нет ресурса пока на разметку. В целом нынешние результаты кластеризации неплохие, вернее, удовлетворяют заказчика, но есть вещи, которые хотелось бы подправить, о них написалтвыше )

Спасибо большое! Ознакомлюсь)

Попробуйте DBScan в таком случае, там не надо указывать количество кластеров, он соберет сколько надо @tonyDestiny

А одна модель с нужным кол-вом выходов (если говорим про классификатор из 1-2 слоев поверх берта например) разве не сможет делать тоже самое, то есть класс определяется argmax, но если эта вероятность ниже порога, то считать мусором
Чем это может быть хуже, чем независимые классификаторы?

Ок, спасибо, посмотрю )

Да, так тоже можно делать, только на последнем слое надо делать не softmax, а независимые друг от друга сигмоиды.

Спасибо, полезная информация!