ГД
А памяти на машине сколько?
Size: a a a
2021 January 11
HC
50 гб
HC
+-*
ГД
Поглядите, какой класс матрицы. class(my_matrix)
HC
Как матрица, но я надеялся как-то пространство признаков уменьшить (словарь сократить)
A
Переслано от Andrey
dt <- data.table(var1 = 1:10, var2 = 1:10, var3 = 1:10,
x1 = 1:10, x2 = 1:10, x3 = 1:10)
for (i in 1:3) {
new_var <- paste0("new_var", i)
dt[, (new_var) := get(paste0("var", i)) + get(paste0("x", i))]
}
A
Igor Yakubovskiy
Коллеги, как эффективно создать несколько новых столбцов на основании уже существующих
Например, есть три столбца с продажами в рублях, три столбца с продажами в штуках и нужно создать три столбца с ценой
И все на основании паттернов (типа паттерны для названия компаний например) ?
В data.table
Например, есть три столбца с продажами в рублях, три столбца с продажами в штуках и нужно создать три столбца с ценой
И все на основании паттернов (типа паттерны для названия компаний например) ?
В data.table
Вот вариант
ГД
Herman Cherniaiev
Как матрица, но я надеялся как-то пространство признаков уменьшить (словарь сократить)
Какая именно матрица? "matrix"?
IY
Вот вариант
а точно, спасибо
HC
Какая именно матрица? "matrix"?
class(.) выдал матрицу, значения числовые, или речь о чем-то другом?
ГД
Матрицы могут быть по разному организованы. Обычно в текстовых данных много нулей. Для матриц с большим количеством нулей ("разряженных" матриц) есть специальные форматы хранения. Они экономят очень много памяти. Но это не класс matrix, а что-нибудь типа dgcmatrix
ГД
А какую модель пытаетесь запустить?
HC
Да матрица очень разряженна, есть много слов которые встречаются только в определённых классах, обучать пытался лог регрессию из nnet и деревья из caret или виснет или крашит
AS
Так может эмбеддинги сделать и на них обучить?
HC
Типа word2vec?
HC
Мне в целом даже супер качество предсказания не нужно
ЕТ
Хм. А если у меня целевая переменная строго integer, то как мне лучше делать? То есть, обычно регрессия воспринимает integer как float, грубо говоря.
ЕТ
Просто округлять ответ, что ли... Но это звучит как-то первобытно.
AS
Herman Cherniaiev
Типа word2vec?
Ну да. В text2vec GloVe реализован.
ГД
Herman Cherniaiev
Да матрица очень разряженна, есть много слов которые встречаются только в определённых классах, обучать пытался лог регрессию из nnet и деревья из caret или виснет или крашит
Попробуйте идти по этой статье - http://text2vec.org/vectorization.html