Size: a a a

ClickHouse не тормозит

2021 February 15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladimir Rudev
Подскажите пожалуйста по storage_policy в Replicated таблицах. В документации написано что на уже созданной таблице это не поменять.
У нас случай когда есть уже много таблиц с данными, и хотелось бы их сделать hot/cold(перекидывать часть текущих данных в hot вовсе не обязательно). Как в данном случае поступают?
Сейчас видится только вариант пересоздать таблицу на зеркале чтоб она все скачала с другого зеркала.. но это будет долго на всей базе(
Нет случайно способа быстрее?
В доке лажа. Можно поменять. Тут в чате ищите мои примеры. Modify setting storage...
источник

IK

Ivan Kizimenko in ClickHouse не тормозит
как можно переписать запрос where (uid, date) in (SELECT uid, date from …)  чтоб добавить условие uid, date совпадале а timestamp было больше чем timestamp из подзапроса
источник

RO

Required Optional in ClickHouse не тормозит
Ага спасибо большое ;)
источник

D

Dj in ClickHouse не тормозит
Ivan Kizimenko
как можно переписать запрос where (uid, date) in (SELECT uid, date from …)  чтоб добавить условие uid, date совпадале а timestamp было больше чем timestamp из подзапроса
Asof join, это правда немного другое. В доках примеры
источник

K

Kiran in ClickHouse не тормозит
I have created a  distributed table in cluster , and 2 local tables when I try to select group by query distributed table from node 1 it is using only node 1 resource if I run from node 2 only node 2 resource are using how to distribute among nodes
источник

K

Kiran in ClickHouse не тормозит
create table test1.**** on cluster 'test_cluster' as test1.****_local
ENGINE = Distributed('test_cluster', 'test1', '****_local', rand());
источник

K

Kiran in ClickHouse не тормозит
i have almost 200 million records i have done group by
источник

K

Kiran in ClickHouse не тормозит
but utilization of node is 100 respect to where i run the query
источник

K

Kiran in ClickHouse не тормозит
how to distribute am i missing
источник

D

Dj in ClickHouse не тормозит
Kiran
create table test1.**** on cluster 'test_cluster' as test1.****_local
ENGINE = Distributed('test_cluster', 'test1', '****_local', rand());
is it just 1 shard with 2 replicas? in this case it will always use single node unless you use max_parallel_replicas and sampling on the table... but it usually does not help...
https://clickhouse.tech/docs/en/operations/settings/settings/#settings-max_parallel_replicas
источник

K

Kiran in ClickHouse не тормозит
i need to run the query  on parallel replica
источник

K

Kiran in ClickHouse не тормозит
how to achieve then
источник

D

Dj in ClickHouse не тормозит
if you can balance queries across nodes it's much easier.

but if you want to run one specific query across both nodes, one way would be to do circular replication, 2 clickhouse instances on each node, one primary, one replica of another primary... but it's a LOT of maintenance effort...
источник

K

Kiran in ClickHouse не тормозит
if it is a lot of maintenance how are others achieving this, is it by increasing nodes
источник

D

Dj in ClickHouse не тормозит
Kiran
if it is a lot of maintenance how are others achieving this, is it by increasing nodes
as I said, if you have many queries, just spread them across nodes using clickhouse-proxy... it's much better way...

others normally don't do this unless really required. you could try, but wouldn't  recommend to do neither of below, ...
https://altinity.com/blog/2018/5/10/circular-replication-cluster-topology-in-clickhouse
https://medium.com/@merticariug/distributed-clickhouse-configuration-d412c211687c
источник

K

Kiran in ClickHouse не тормозит
источник

K

Kiran in ClickHouse не тормозит
As per this post 2node 2replica 2 shard
источник

K

Kiran in ClickHouse не тормозит
And that was not recommend
источник
2021 February 16

D

Dj in ClickHouse не тормозит
yes, if u have many queries, it's better you spread them across nodes and let each query run on one replica at a time...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Владимир
также и в кликхаусе нашёл ошибку

2021.02.15 20:42:31.702457 [ 10050 ] {} <Error> fluentbit.log: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 20210215_1670332_1670337_1 (state Committed) already exists, Stack trace (when copying this message, always include the line below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x10f1e130 in /usr/bin/clickhouse
...
>2021.02.15 20:42:31.702457 [ 10050 ] {} <Error> fluentbit.log:
>DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedM
>ergeTree::LogEntryPtr&)>: Code: 235, e.displayText() =
>DB:❤️eption: Part 20210215_1670332_1670337_1 (state Committed) already exists

погрепайте что тред 10050 делал до этого?
источник