Идея прорастает, мне понравилось. Факторные нагрузки становятся менее равномерными и теряется ортогональность, но токены начинают сжимать распределение в сторону определенных тем. То есть я ищу факторы среди токенов, их линейной комбинации
кстати, про факторный анализ - клевую штуку рассказывали, на ютубе есть, для анализа сотен временных рядов из продуктовых логов на предмет выявления аномалий, прямо красота...