А
Как компилил и на чём? Что-то с OpenMP может быть.
не помню что бы я c gforce отдельно возился, веротяно он сам встал по дефлоту, а так машина с Ubuntu 18.04.3 LTS (GNU/Linux 4.15.0-62-generic x86_64)
Size: a a a
2019 October 21
АК
Так же агрегацию можно по одной за раз считать, если это всё спрятано в коде.
А
Так же агрегацию можно по одной за раз считать, если это всё спрятано в коде.
потом мержить все агрегированные таблички?
АК
Сделай обычный вызов
dt[, .(v = mean(col)), verbose = TRUE].АК
> DT[, .(v = mean(V1)), by = id, verbose = TRUE]
Detected that j uses these columns: V1
Finding groups using forderv ... forder.c received 5000000 rows and 1 columns
0.102s elapsed (0.186s cpu)
Finding group sizes from the positions (can be avoided to save RAM) ... 0.001s elapsed (0.001s cpu)
Getting back original order ... forder.c received a vector type 'integer' length 100000
0.005s elapsed (0.008s cpu)
lapply optimization is on, j unchanged as 'list(mean(V1))'
GForce optimized j to 'list(gmean(V1))'
Making each group and running j (GForce TRUE) ... gforce initial population of grp took 0.062
gforce assign high and low took 0.036
This gsum took (narm=FALSE) ... gather took ... 0.010s
0.021s
gforce eval took 0.021
0.121s elapsed (0.200s cpu)
А
Сделай обычный вызов
dt[, .(v = mean(col)), verbose = TRUE].u = dt.io[,.(mean_next_fee = mean(next_fee,na.rm = T)),by = tid, verbose = TRUE]
Detected that j uses these columns: next_fee
Finding groups using forderv ... forder.c received 195938767 rows and 1 columns
1.527s elapsed (18.1s cpu)
Finding group sizes from the positions (can be avoided to save RAM) ... 0.122s elapsed (0.115s cpu)
Getting back original order ... forder.c received a vector type 'integer' length 22317775
0.836s elapsed (4.690s cpu)
lapply optimization is on, j unchanged as 'list(mean(next_fee, na.rm = T))'
GForce optimized j to 'list(gmean(next_fee, na.rm = TRUE))'
Making each group and running j (GForce TRUE) ... gforce initial population of grp took 0.125
gforce assign high and low took 0.357
gforce eval took 2.242
3.086s elapsed (7.874s cpu)
Detected that j uses these columns: next_fee
Finding groups using forderv ... forder.c received 195938767 rows and 1 columns
1.527s elapsed (18.1s cpu)
Finding group sizes from the positions (can be avoided to save RAM) ... 0.122s elapsed (0.115s cpu)
Getting back original order ... forder.c received a vector type 'integer' length 22317775
0.836s elapsed (4.690s cpu)
lapply optimization is on, j unchanged as 'list(mean(next_fee, na.rm = T))'
GForce optimized j to 'list(gmean(next_fee, na.rm = TRUE))'
Making each group and running j (GForce TRUE) ... gforce initial population of grp took 0.125
gforce assign high and low took 0.357
gforce eval took 2.242
3.086s elapsed (7.874s cpu)
АК
Тут норм всё.
АК
Значит OpenMP работает и функции подменяются на GForce.
АК
Теепрь надо чуть усложнить.
АК
Задачи найти, что именно отключает оптимизацию.
А
Теепрь надо чуть усложнить.
u = dt.io[,.(mean_next_fee = mean(next_fee,na.rm = T),
mode_next_fee = DescTools::Mode(next_fee,na.rm = T)[1]),by = tid, verbose = TRUE]
Detected that j uses these columns: next_fee
Finding groups using forderv ... forder.c received 195938767 rows and 1 columns
1.553s elapsed (18.5s cpu)
Finding group sizes from the positions (can be avoided to save RAM) ... 0.122s elapsed (0.099s cpu)
Getting back original order ... forder.c received a vector type 'integer' length 22317775
0.816s elapsed (4.714s cpu)
lapply optimization is on, j unchanged as 'list(mean(next_fee, na.rm = T), Mode(next_fee, na.rm = T)[1])'
GForce is on, left j unchanged
Old mean optimization changed j from 'list(mean(next_fee, na.rm = T), Mode(next_fee, na.rm = T)[1])' to 'list(.External(Cfastmean, next_fee, T), Mode(next_fee, na.rm = T)[1])'
Making each group and running j (GForce FALSE) ...
mode_next_fee = DescTools::Mode(next_fee,na.rm = T)[1]),by = tid, verbose = TRUE]
Detected that j uses these columns: next_fee
Finding groups using forderv ... forder.c received 195938767 rows and 1 columns
1.553s elapsed (18.5s cpu)
Finding group sizes from the positions (can be avoided to save RAM) ... 0.122s elapsed (0.099s cpu)
Getting back original order ... forder.c received a vector type 'integer' length 22317775
0.816s elapsed (4.714s cpu)
lapply optimization is on, j unchanged as 'list(mean(next_fee, na.rm = T), Mode(next_fee, na.rm = T)[1])'
GForce is on, left j unchanged
Old mean optimization changed j from 'list(mean(next_fee, na.rm = T), Mode(next_fee, na.rm = T)[1])' to 'list(.External(Cfastmean, next_fee, T), Mode(next_fee, na.rm = T)[1])'
Making each group and running j (GForce FALSE) ...
А
кажется из-за DescTools
АК
Можно его потом отдельно посчитать или найти позабористее вариант.
Посмотри пакет
Саму моду можно и нативным
Посмотри пакет
matrixStats.Саму моду можно и нативным
data.table посчитать.А
Можно его потом отдельно посчитать или найти позабористее вариант.
Посмотри пакет
Саму моду можно и нативным
Посмотри пакет
matrixStats.Саму моду можно и нативным
data.table посчитать.интересный пакет, спасибо
АК
Как минимум сейчас стоит разделить расчёт GForce и всего остального.
А
Как минимум сейчас стоит разделить расчёт GForce и всего остального.
ага, так и сделаю
2019 October 22
C
как вывести на график не кружочками , а точками?
a
а вы можете привести гугл запрос, которым Вы искали в гугле?
a
А то, согласно првавилам чата, нужно сначала гуглить
C
нашёл