Size: a a a

ClickHouse не тормозит

2020 June 17

D

Dj in ClickHouse не тормозит
блин скроллинг сломался =)
источник

D

Dj in ClickHouse не тормозит
SELECT groupArrayInsertAt(NULL, 5)(toNullable(num), num)
FROM
(
   SELECT number AS num
   FROM system.numbers
   LIMIT 3
)
GROUP BY tuple()

┌─groupArrayInsertAt(NULL, 5)(toNullable(num), num)─┐
│ [0,1,2,0,0]                                       │
└───────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.014 sec.


это баг или фича?
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ping -s 1500 ....
если пакеты пропадают то это к сетевикам
Спасибо, заработало mtu кривой был
источник

D

Dj in ClickHouse не тормозит
Dj
SELECT groupArrayInsertAt(NULL, 5)(toNullable(num), num)
FROM
(
   SELECT number AS num
   FROM system.numbers
   LIMIT 3
)
GROUP BY tuple()

┌─groupArrayInsertAt(NULL, 5)(toNullable(num), num)─┐
│ [0,1,2,0,0]                                       │
└───────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.014 sec.


это баг или фича?
если конкретней, я ждал 0,1,2,null,null
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
похоже groupArray вообще null не умеет
источник

D

Dj in ClickHouse не тормозит
источник

D

Dj in ClickHouse не тормозит
ok, надо править )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
SELECT groupArrayInsertAt(NULL, 5)(tuple(toNullable(num)), num).1
FROM
(
   SELECT number AS num
   FROM system.numbers
   LIMIT 3
)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
это не баг, я думаю это фича
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
хотя конечно полный unexpected
источник

D

Dj in ClickHouse не тормозит
unexpected feature = bug
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в тот и дело что скорее всего это сделано специально
источник

D

Dj in ClickHouse не тормозит
очень нетривиально... имхо так быть не должно, как и разворачивание тупла
источник
2020 June 18

DZ

Dmitry Zaytsev in ClickHouse не тормозит
Вопросец - хочется в целом простого: посчитать квантили по времени запросов за минуту (что бы построить гарфики).
Пришел к такой конструкции мат вью
CREATE MATERIALIZED VIEW quantile_all_reqtime_mv TO quantile_all_reqtime (`date` Date, `datetime` DateTime, `host` String, `quantiles` Array(Decimal(10,3))) AS SELECT date, toStartOfMinute(datetime) AS datetime, host, quantiles(0.5, 0.6, 0.7, 0.8, 0.9, 0.99)(toFloat64(request_time)) AS quantiles FROM logs GROUP BY date, datetime, host


Вопроса:
Какой лучше выбрать движок для основной таблицы? SummingMergeTree не подходит, тогда данные суммируются. Нужен средний.
Я сейчас сделал просто MergeeTree и после этого выбираю данные таким запросом
select datetime, host, avg(arrayElement(quantiles,6)) from quantile_all_reqtime group by datetime, host order by datetime


Можно ли какими другими инстурментами сделать или в целом схема рабочая?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dmitry Zaytsev
Вопросец - хочется в целом простого: посчитать квантили по времени запросов за минуту (что бы построить гарфики).
Пришел к такой конструкции мат вью
CREATE MATERIALIZED VIEW quantile_all_reqtime_mv TO quantile_all_reqtime (`date` Date, `datetime` DateTime, `host` String, `quantiles` Array(Decimal(10,3))) AS SELECT date, toStartOfMinute(datetime) AS datetime, host, quantiles(0.5, 0.6, 0.7, 0.8, 0.9, 0.99)(toFloat64(request_time)) AS quantiles FROM logs GROUP BY date, datetime, host


Вопроса:
Какой лучше выбрать движок для основной таблицы? SummingMergeTree не подходит, тогда данные суммируются. Нужен средний.
Я сейчас сделал просто MergeeTree и после этого выбираю данные таким запросом
select datetime, host, avg(arrayElement(quantiles,6)) from quantile_all_reqtime group by datetime, host order by datetime


Можно ли какими другими инстурментами сделать или в целом схема рабочая?
aggregating merge tree?
источник

SC

Smoked Cheese in ClickHouse не тормозит
используй SummingMergeTree и храни там *State агрегаты
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
Я AggregatingMergeTree особо не использовал еще (только для подсчет Uniq делал.
источник

SC

Smoked Cheese in ClickHouse не тормозит
сейчас у тебя в запросе квантили считаются на каждый заинсерченный батч, брать среднее от нескольких таких квантилей это цифра с потолка, абсолютно никакого смысла не имеющая
источник

DZ

Dmitry Zaytsev in ClickHouse не тормозит
согласен, поэтому и задался вопросом, все ли верно. Попробую передалать на AggregatingMergeTree. спасибо
источник

SC

Smoked Cheese in ClickHouse не тормозит
источник