ЕТ
Так. И, получается, мне потом просто по ним вычислишь расстояния попарные, верно?
Size: a a a
2020 November 22
JS
ЕТ
Вот, у меня есть столбец, к примеру, "длина строки", и я к нему клею матрицу tf-idf.
ЕТ
И это получается просто ещё, предположим, 20 фич.
ЕТ
И я по ним считаю какого-нибудь Минковского, после чего подаю это на вход какому-нибудь dbscan.
A
а зачем "по ним" что-то считать? dbscan работает прямо на фичах
A
стандартизацию только полезно вначале сделать, или как-то иначе привести к одному масштабу все
ЕТ
стандартизацию только полезно вначале сделать, или как-то иначе привести к одному масштабу все
Да, да, конечно.
ЕТ
а зачем "по ним" что-то считать? dbscan работает прямо на фичах
Ну, да, но я для примера привел. Конкретно dbscan у меня падает. Там 200к*150 получается датасет.
A
сделай k-means на 10к центроидов и дбскань уже их :smekalka:
ЕТ
сделай k-means на 10к центроидов и дбскань уже их :smekalka:
ХА
MM
сделай k-means на 10к центроидов и дбскань уже их :smekalka:
+++
ЕТ
Очень по-roosky. Спасибо!
БА
Прохожу курс "Основы программирования на R" на степике. Терпения не хватает.
А нет ли курса по программированию на R, где преподаёт не математик, а программист?
Очень уж тяжело идёт, эта ложечка комбинаторики.
А нет ли курса по программированию на R, где преподаёт не математик, а программист?
Очень уж тяжело идёт, эта ложечка комбинаторики.
IY
Может, у кого-то есть под рукой статья с примером того, как кластеризуют текст, соединяя информацию из tf-idf и прочих фич?
LDA делай
ЕТ
Igor Yakubovskiy
LDA делай
Дык оно-то как поможет? Хм.
ЕТ
сделай k-means на 10к центроидов и дбскань уже их :smekalka:
Так, я что-то затупил. Ну, сделал я на 10К центроидов, и как мне их дбсканить? Тип я считаю, что центроид выражает сущность группы текстов?
A
Так, я что-то затупил. Ну, сделал я на 10К центроидов, и как мне их дбсканить? Тип я считаю, что центроид выражает сущность группы текстов?
ну да
ЕТ
ну да
Ага. То есть, было у меня 200К коротких текстов, а стало, грубо говоря, 10К самых представительных.
ЕТ
Спасибо!