Всем доброго дня!

Думаю думу над такой задачей:

есть записи о покупках клиентов (ClientID), эти покупки собраны в заказы (OrderID), в заказах записи - товары (ProductID)
хотел сделать факторый анализ, но получил от data.table вот такое

data.table::dcast(
 data = data_source[, .(OrderID, ProductID, ProductCnt)],
 formula = OrderID ~ ProductID,
 value.var = "ProductCnt"
)

Ошибка в CJ(1:354851, 1:51083) :
 Cross product of elements provided to CJ() would result in 18126853633 rows which exceeds .Machine$integer.max == 2147483647

да, данных много, порядка 10 миллионов записей (1 запись - 1 товар в заказе), уникальных ProductID ~ 50 тыс.

по идее можно сделать saprseMatrix, и сделать факторый анализ по ней, но я таких библиотек не нашел


Как думаете, в каком направлении стоит двигаться???

Всем доброго дня!

Думаю думу над такой задачей:

есть записи о покупках клиентов (ClientID), эти покупки собраны в заказы (OrderID), в заказах записи - товары (ProductID)
хотел сделать факторый анализ, но получил от data.table вот такое

data.table::dcast(
 data = data_source[, .(OrderID, ProductID, ProductCnt)],
 formula = OrderID ~ ProductID,
 value.var = "ProductCnt"
)

Ошибка в CJ(1:354851, 1:51083) :
 Cross product of elements provided to CJ() would result in 18126853633 rows which exceeds .Machine$integer.max == 2147483647

да, данных много, порядка 10 миллионов записей (1 запись - 1 товар в заказе), уникальных ProductID ~ 50 тыс.

по идее можно сделать saprseMatrix, и сделать факторый анализ по ней, но я таких библиотек не нашел


Как думаете, в каком направлении стоит двигаться???

Я бы предположил, что Product - это слово, а Order - это документ и использовал бы Latent Dirichle Allocation  с разряженной матрицей из пакета text2vec. Он такие объемы легко кушает. Или есть вариант bi-term modelling для коротких "текстов" - https://github.com/bnosac/BTM

Всем привет
Кто может подсказать по работе с googleAnalytisR

Столкнулся с тем, что в Rstudio все прекрасно работает, повторная авторизация не требуется, все ходит.
В CMD - вечно какие-то ошибки, на этапе авторизации

Всем привет
Кто может подсказать по работе с googleAnalytisR

Столкнулся с тем, что в Rstudio все прекрасно работает, повторная авторизация не требуется, все ходит.
В CMD - вечно какие-то ошибки, на этапе авторизации

почитай - http://code.markedmondson.me/googleAnalyticsR/articles/setup.html

почитай - http://code.markedmondson.me/googleAnalyticsR/articles/setup.html

в той табличке, где точные значения добавить столбец, который бы соответствовал интервалу, в который оно входит, а потом матчить по интервалам

в data.table есть механизм rolling join

привет, думаю как замачить пару data.tables, единственное что осложняет жизнь - матчить нужно по интервалам, в одной табличке точные значения, в другой колонки с допустимыми интервалами, как бы это не в лоб решать перебором по строкам второй таблички ?

foverlaps.