Size: a a a

ClickHouse не тормозит

2021 January 08

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
│ 8.27 MiB   │ 9.64 MiB                                      │ 1.80 GiB                                                │ ethereum │ transactions_rt_storage │ currency_id            │
│ 8.27 MiB   │ 9.64 MiB                                      │ 1.80 GiB                                                │ ethereum │ transactions_rt_storage │ blockchain_id          │
│ 8.27 MiB   │ 9.64 MiB                                      │ 1.80 GiB                                                │ ethereum │ transactions_rt_storage │ gas_currency_id        │
└────────────┴───────────────────────────────────────────────┴─────────────────────────────────────────────────────────┴──────────┴─────────────────────────┴────────────────────────┘
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
block_path_root_string - это PK
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
чего то правда откуда там столько байтов для 5 строк…
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleksey Studnev ( bitquery.io )
block_path_root_string - это PK
т.е. у вас таблица order by (block_path_root_string) ?
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
да
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
) ENGINE = ReplicatedMergeTree('/clickhouse/all_sharded/tables/ethereum/transactions_rt_storage/{shard}', '{sharded-replica}')
     
PARTITION BY toStartOfMonth(tx_date)
     
ORDER BY block_path_root_string;
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
попробуйте LowCardinality(String)
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
сейчас
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
сколько символов в строке? length(block_path_root_string) ?
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
самая длинная - это 999999,-1,1000000,-1,4000000,-1,4000000,-2
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
то есть строки короткие
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
я еше пробовал использовать сначала array(Int64) вместо строки, с ним одинаковые результаты
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
попробуйте LowCardinality(String)
пробую
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
а может все дело в том что надо было OPTIMIZE TABLE запустить?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
у меня в тесте LC помог и ускорил запрос в 10 раз
источник

AS

Aleksey Studnev ( bi... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
у меня в тесте LC помог и ускорил запрос в 10 раз
да с LC стало лучше, но разница все равно есть в 2 раза
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
LC(String) Processed 500.00 million rows, 1.50 GB
String  Processed 500.00 million rows, 26.50 GB
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну 300 млн. сравнений строк нельзя сделать бесплатно, тут индексы не могут помочь. КХ все равно делает unboxing LC и 300*5 млн раз сравнивает строки
источник

D

Dj in ClickHouse не тормозит
кстати тут был недавно один товарищ который хотел применять партишн ключ без сравнений... я все спрашивал зачем... теперь выяснилось, что мне тож надо )))) надо бы фичу (если партишн ключ мин-макс весь покрывается условием - скипать проверки!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
в смысле в колонку не ходить и не делать проверку для каждой строки? потому что уже проверено прунингом?
источник