Size: a a a

ClickHouse не тормозит

2021 January 09

P

Pavel in ClickHouse не тормозит
привет всем почему пишет компрессия NaN?
inputFloat Float64 CODEC(LZ4HC)
я создаю таким образом, почему может не отображать табикс?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Pavel
привет всем почему пишет компрессия NaN?
inputFloat Float64 CODEC(LZ4HC)
я создаю таким образом, почему может не отображать табикс?
Потому что деление на 0
источник

P

Pavel in ClickHouse не тормозит
Smoked Cheese
Потому что деление на 0
а понятно, я думал это булев типа
источник

SC

Smoked Cheese in ClickHouse не тормозит
NaN = Not a Number
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel
привет всем почему пишет компрессия NaN?
inputFloat Float64 CODEC(LZ4HC)
я создаю таким образом, почему может не отображать табикс?
табикс показывает (вычисляет) насколько ужато, если в таблице 0 строк, то посчитать невозможно.

используейте describe

desc xx
┌─name───────┬─type────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ A          │ Int64   │              │                    │         │                  │                │
│ inputFloat │ Float64 │              │                    │         │ LZ4HC(0)         │                │
└────────────┴─────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘
источник

P

Pavel in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
табикс показывает (вычисляет) насколько ужато, если в таблице 0 строк, то посчитать невозможно.

используейте describe

desc xx
┌─name───────┬─type────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ A          │ Int64   │              │                    │         │                  │                │
│ inputFloat │ Float64 │              │                    │         │ LZ4HC(0)         │                │
└────────────┴─────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘
ну да я понял спасибо, я просто думал показывает зжимаемый столбец или нет
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel
ну да я понял спасибо, я просто думал показывает зжимаемый столбец или нет
tabix вроде не саппортится и сделан еще до того как CODEC появились
источник

P

Pavel in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
tabix вроде не саппортится и сделан еще до того как CODEC появились
угу, ну хватает пока его 🙂 спасибо еще раз
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
Aleksey Studnev ( bitquery.io )
А вот почему так? Есть таблица с ReplicatedMergeTree с  ORDER BY по полю pk String. Если делать запрос по всей таблице выполняется за 0.3 сек. Если сделать запрос с WHERE pk IN (… все значения pk ( 5 штук) ) то 7 сек. Результат естественно одинаковый
После некоторого исследования этой проблемы есть такие экспериментальные выводы:
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
1) если есть поле с низкой кардинальностью то построение индекса по нему тормозит запрос
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
2) array работает медленнее String существенно, и для сравнения и для IN
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
3) соритровка данны очень важна и если вставлялись случайно, то нужен OPTIMIZE
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
4) LowCardinality(String) быстрее чем String в индексе, иногда на порядок
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
в сумме могу сказать что окончательный вариант. таблицы очень слабо отличается от начального , при существенной разнице в скорости запросов
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
Подозреваю @den_crane тут есть что сказать
источник

SC

Smoked Cheese in ClickHouse не тормозит
Aleksey Studnev ( bitquery.io )
3) соритровка данны очень важна и если вставлялись случайно, то нужен OPTIMIZE
если данные не отсортированы, то КХ сам сортирует при вставке по ORDER BY
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
Smoked Cheese
если данные не отсортированы, то КХ сам сортирует при вставке по ORDER BY
видимо не до конца
источник

SC

Smoked Cheese in ClickHouse не тормозит
не может быть такого
источник

SC

Smoked Cheese in ClickHouse не тормозит
OPTIMIZE может пофорсить мерж многих мелких партов в один большой, но кх сам в фоне это делает
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
я уже встречался раньше с поведением когда делаешь таблицу CREATE AS SELECT потом сразу ее начинаешь испольщовать и тормоз
источник