F🚜
может кто-то из админов захочет добавить lts ветку в релизы?
/subscribe ClickHouse/ClickHouse lts/subscribe ClickHouse/ClickHouse ltsSize: a a a
2020 May 20
DC
G
/subscribe ClickHouse/ClickHouse ltssuccessfully subscribed
a
Мы на 32 Гб оперативки работали с таблицами по 32 и 24 миллиарда записей.
В мае лили по 158 и 155 млн записей в день. 30 столбцов.
В мае лили по 158 и 155 млн записей в день. 30 столбцов.
a
Вот слава богу перехали
a
на 128 гб
T
Память увеличил ничего не произошло, видимо памяти мои запросы вообще не потребляют
T
Обработка 200 млн строк занимает 3 секунды
SC
даже если сам кликхаус не будет использовать оперативку, то её будет использовать файловый кеш системы, это ускорит запросы по "горячим" данным
T
Вот думаю это много или норм
a
надо смотреть )))
a
вообще не быстро
T
ну там порядка 10 sum
T
в основном на decimal
T
и = 3 секунды
DC
create table testD(
A Int64,
a Decimal64(4),
b Decimal64(4),
c Decimal64(4),
d Decimal64(4),
e Decimal64(4),
f Decimal64(4),
g Decimal64(4),
h Decimal64(4),
i Decimal64(4),
j Decimal64(4))
Engine=MergeTree() partition by (A % 11) order by A;
insert into testD select number, rand() % 1213 x, x, x, x, x, x, x, x, x, x
from numbers(100000000)
select sum(a), sum(b), sum(c), sum(d), sum(e), sum(f), sum(g), sum(h), sum(i), sum(j)
from testD
group by A % 1111 format Null
set max_threads=32
0 rows in set. Elapsed: 1.499 sec. Processed 100.00 million rows, 8.80 GB (66.71 million rows/s., 5.87 GB/s.)
set max_threads=2
0 rows in set. Elapsed: 6.242 sec. Processed 100.00 million rows, 8.80 GB (16.02 million rows/s., 1.41 GB/s.)
SET max_threads = 4
0 rows in set. Elapsed: 3.229 sec. Processed 100.00 million rows, 8.80 GB (30.97 million rows/s., 2.73 GB/s.)
T
попробую, минуту
T
так же 3 секунды
T
а если будет float, либо int, улучшится ли производительность?
DC
надо тестить, sum наверное не улучшится,
Decimal64 это в каком-то смысле Int64, и sum cpu довольно быстро делает, другие операции наверное с int быстрее будут