Size: a a a

ClickHouse не тормозит

2020 September 14

SC

Smoked Cheese in ClickHouse не тормозит
Всё индивидуально, для меня это очень мало. Видимо у вас мало данных.
источник

FP

Fedor Pavlov in ClickHouse не тормозит
ну не много. порядка 2-3 миллиардов строк
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Доброго времени суток.

Есть два поля Nullable(Decimal(18,6)) A и B
Нужно вычислить деление A на B, Если B=0, то результат должен быть равен 0

Пробуем
select if(B=0 or ifnull(B), 0, A/B)
Получаем Division by zero.

В чем может быть проблема
источник

AM

Alex ⭕️ More in ClickHouse не тормозит
Alexander Ryzhenko
Доброго времени суток.

Есть два поля Nullable(Decimal(18,6)) A и B
Нужно вычислить деление A на B, Если B=0, то результат должен быть равен 0

Пробуем
select if(B=0 or ifnull(B), 0, A/B)
Получаем Division by zero.

В чем может быть проблема
в том, что клик одновременно вычисляет все ветки.
Можно вот так обойти

select ifNull(a / nullIf(b, 0), 0)
from (select 1 as a, 0 as b)
источник

O

Oleg in ClickHouse не тормозит
Подскажите clickhouse 19.17.9 есть такая distr:  ENGINE = Distributed(cluster, base, shard, sipHash64(concat(col1,col2, col3)))
Если делать к ней select, где  упомянуты все col1,col2,col3  (или просто * ) - то все хорошо.
А если например select col4 - то пишет ошибку Cannot find column col1 in source stream (version 19.17.9.60 (official build))
источник

O

Oleg in ClickHouse не тормозит
если делать такие же запросы напрямую к шардам - а не к distr - то все естественно работает
источник

WA

WAS AV in ClickHouse не тормозит
Добрый день

Кто-то подключал DataStudio как BI для ClickHouse?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Oleg
Подскажите clickhouse 19.17.9 есть такая distr:  ENGINE = Distributed(cluster, base, shard, sipHash64(concat(col1,col2, col3)))
Если делать к ней select, где  упомянуты все col1,col2,col3  (или просто * ) - то все хорошо.
А если например select col4 - то пишет ошибку Cannot find column col1 in source stream (version 19.17.9.60 (official build))
SHOW CREATE TABLE distributed_table_name
источник

O

Oleg in ClickHouse не тормозит
Dmitry Titov
SHOW CREATE TABLE distributed_table_name
CREATE TABLE kqi.topology (day Date, timestamp UInt64, mac String, accDeviceId Nullable(Int64), aggDeviceId Nullable(Int64), peDeviceId Nullable(Int64), serviceId String, eipAffilateId String, serviceAccountNumber Nullable(String), stbIp Nullable(String), spyVersion Nullable(String), stbModel Nullable(String), stbSerial Nullable(String), fwVersion Nullable(String), tech Nullable(String), uptime Nullable(UInt32), lineNumber String, eipNls String, eipGidCustomer Nullable(Int64), eipMrfId Nullable(UInt32), segment Nullable(UInt8), segmentB2b Nullable(UInt8), phone Nullable(String), email Nullable(String), tvPlatform UInt8, ottTvCode Nullable(String), serviceLineLength Nullable(Float64)) ENGINE = Distributed(mirror, kqi, topology_shard, sipHash64(concat(serviceId, eipAffilateId, mac)))
источник

DT

Dmitry Titov in ClickHouse не тормозит
Oleg
CREATE TABLE kqi.topology (day Date, timestamp UInt64, mac String, accDeviceId Nullable(Int64), aggDeviceId Nullable(Int64), peDeviceId Nullable(Int64), serviceId String, eipAffilateId String, serviceAccountNumber Nullable(String), stbIp Nullable(String), spyVersion Nullable(String), stbModel Nullable(String), stbSerial Nullable(String), fwVersion Nullable(String), tech Nullable(String), uptime Nullable(UInt32), lineNumber String, eipNls String, eipGidCustomer Nullable(Int64), eipMrfId Nullable(UInt32), segment Nullable(UInt8), segmentB2b Nullable(UInt8), phone Nullable(String), email Nullable(String), tvPlatform UInt8, ottTvCode Nullable(String), serviceLineLength Nullable(Float64)) ENGINE = Distributed(mirror, kqi, topology_shard, sipHash64(concat(serviceId, eipAffilateId, mac)))
А название колонки которую хотите получить?
источник

O

Oleg in ClickHouse не тормозит
ну например select serviceId, eipAffilateId, mac, любая_другая_колонка_например_day - работает
select любая_другая_колонка_например_day - не работает
источник

-

-_- in ClickHouse не тормозит
Slach
сервер железный или виртуалка в облаке?
А если виртуалка?
источник

D

Dj in ClickHouse не тормозит
Максим
Спасибо! то что надо
[('a', 1), ('a', 2), ('c', 3), ('a', 2),  ('c', 3)]

оно же не будет для произвольных данных работать или я не так понял ТЗ?
источник

M

Maxim in ClickHouse не тормозит
Привет! Подскажите, пожалуйста, у настройки max_concurrent_queries есть ли какое-то верхнее ограничение, выше которого лучше не устанавливать параметр?
источник

М

Максим in ClickHouse не тормозит
Dj
[('a', 1), ('a', 2), ('c', 3), ('a', 2),  ('c', 3)]

оно же не будет для произвольных данных работать или я не так понял ТЗ?
SELECT     arrayFilter((x,y) -> (x.1 != y), [('a', 1), ('a', 2), ('c', 3), ('a', 2), ('c', 3)] as arr,arrayPushFront(arrayPopBack(arr.1),'-1')) AS v


возвращает  [('a',1),('c',3),('a',2),('c',3)]
ТЗ - удалить последовательно повторяющиеся элементы из массива наполненного Tuple
источник

S

Slach in ClickHouse не тормозит
-_-
А если виртуалка?
смотреть какая загрузка на Host OS
виртуалки разные бывают

гуглите что нибудь типа howto detect aws ec2 cpu throttling
источник

D

Dj in ClickHouse не тормозит
Максим
SELECT     arrayFilter((x,y) -> (x.1 != y), [('a', 1), ('a', 2), ('c', 3), ('a', 2), ('c', 3)] as arr,arrayPushFront(arrayPopBack(arr.1),'-1')) AS v


возвращает  [('a',1),('c',3),('a',2),('c',3)]
ТЗ - удалить последовательно повторяющиеся элементы из массива наполненного Tuple
аааа, сорри, тогда я все не так понял и вообще ересь нес
источник

S

Slach in ClickHouse не тормозит
Fedor Pavlov
то что запрос читает до 150 МБ это нормально? или надо оптимизировать?
это вы из query_log посмотрели?
там размер "несжатых данных"
с диска реально обычно читается меньше в 2-3 раза
ну вообще как бы clickhouse изначально разрабатывался на случай когда у вас
БОЛЬШИЕ HDD с последовательным доступом и не сильно много памяти
так что да, он много читает с диска и очень хорошо жрет CPU если это доступно
потому что МНОГО фильтрует и много аггрегирует
и много аллоцирует памяти если есть ORDER BY и на GROUP BY  у вас много уникальных значений по полям по которым аггрегируете...
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Artem
В документации написано:
> ClickHouse поддерживает отдельные операции с партициями, которые работают эффективнее, чем общие операции с этим же результатом над этими же данными.

Это о каких операциях идет речь? SELECT же не умеет фильтровать по PARTITION?
Всем привет.

У меня вопрос по этой же теме.
Делаю запрос
select t.a, t.b from tablename t where _partition_id = '20200914' - работает.

Но стоит его обернуть в CREATE MATERIALIZED VIEW TO и запрос перестаёт работать, ругаясь, что не знает столбца _partition_id.

Это ограничение CREATE MATERIALIZED VIEW TO или я что-то делаю не так?
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Версия 20.5.3.27
источник