Size: a a a

ClickHouse не тормозит

2020 September 22

И

Иван in ClickHouse не тормозит
Николай
Макроподстановки корректные
проверить их можно примерно так:
SELECT
   FQDN() hostname,
   getMacro('layer'),
   getMacro('shard'),
   getMacro('replica')
FROM clusterAllReplicas(<cluster>, system.one)
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
если таблицы есть и репликация не идет, надо смотреть в system.replication_queue табличку
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
там будет либо пусто, если вообще по зукиперу не доехало
либо ошибка какая то говорящая почему не фетчатся парты
источник

И

Иван in ClickHouse не тормозит
Николай
Layer и шард одинаковые, replica отличается
то смотрите в system.replicas + system.replication_queue для данных таблиц, там будет инфа
источник

Н

Николай in ClickHouse не тормозит
Dns error!
источник

YY

Yury Yurochko in ClickHouse не тормозит
Дмитрий Бережнов
Так индекс в КХ разреженный, база может только обросить явно не нужные парты, и уже фулскан делать в нужных. Скиньте полный DDL таблицы. У вас походу даже с индексом - полное сканирование таблицы
CREATE TABLE extender (
`TraceID` String,
`UserAgent` String,
`UserIPv4` IPv4,
`UserIPv6` IPv6,
`CreatedAt` DateTime,
`Version` Int64
)
ENGINE = ReplacingMergeTree(Version)
ORDER BY TraceID
TTL CreatedAt + toIntervalMonth(6)
SETTINGS index_granularity = 256

Запросы вида SELECT UserIPv4, UserIPv6 FROM extender WHERE TraceID  IN ?

PS я знаю, что КХ не для KV)
источник

Н

Николай in ClickHouse не тормозит
Сек, админам ноги повыдергиваю
источник

A

Alex in ClickHouse не тормозит
Константин Трофимов
на каждой реплике выполняется create table с Replicated* движком с одинаковым путем в зукипере, в вашем случае "/clickhouse/tables/{shard}/rep", и разным вторым параметром "реплика" в вашем случае используется макрос '{replica}'
либо вы можете кликхаус попросить выполнить этот запрос на всех репликах использовав директиву ON CLUSTER
Спасибо! Попробовал выполнить с директивой ON CLUSTER. Причем новую таблицу и новый адрес в ЗК. Но у меня создалась таблица только на одной машине. И еще заметил, что getMacro('replica') на обеих машинах выдает одинаковый ip. Проблема с макросом, получается?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Yury Yurochko
CREATE TABLE extender (
`TraceID` String,
`UserAgent` String,
`UserIPv4` IPv4,
`UserIPv6` IPv6,
`CreatedAt` DateTime,
`Version` Int64
)
ENGINE = ReplacingMergeTree(Version)
ORDER BY TraceID
TTL CreatedAt + toIntervalMonth(6)
SETTINGS index_granularity = 256

Запросы вида SELECT UserIPv4, UserIPv6 FROM extender WHERE TraceID  IN ?

PS я знаю, что КХ не для KV)
Так а в чем проблема вашего селекта? Сколько записей в таблице и за сколько отрабатывает?
источник

S

Slawka in ClickHouse не тормозит
Подскажите есть таблица, с полем Datetime как правильно получит данные с группировкой до минут
источник

YY

Yury Yurochko in ClickHouse не тормозит
Дмитрий Бережнов
Так а в чем проблема вашего селекта? Сколько записей в таблице и за сколько отрабатывает?
Проблема в том, что замер на 1ккк данных показал 90%tile в 5ms,  а замер на 2ккк данных показал 90%tile в 10ms.
Я не ожидал такого роста времени с ростом данных, ожидал, но не такой зависимости строгой прям. Или я не прав?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Yury Yurochko
Проблема в том, что замер на 1ккк данных показал 90%tile в 5ms,  а замер на 2ккк данных показал 90%tile в 10ms.
Я не ожидал такого роста времени с ростом данных, ожидал, но не такой зависимости строгой прям. Или я не прав?
так а с чего такие ожидания? Если у вас объем таблицы растет, есть индексы, а размер выборки по условию - не растет. То тогда можно ожидать что с ростом таблицы время запроса не будет расти
источник

YY

Yury Yurochko in ClickHouse не тормозит
Дмитрий Бережнов
так а с чего такие ожидания? Если у вас объем таблицы растет, есть индексы, а размер выборки по условию - не растет. То тогда можно ожидать что с ростом таблицы время запроса не будет расти
Ожидания такие с того, что по факту становится больше только индекс, и хождение по нему увеличивается. Дальше трудозатраты по доставанию самих данных должны оставаться неизменными с ростом таблицы, мы знаем в каком месте на деске "примерно" почитать. Или я заблуждаюсь?
источник

IP

Ian Pilé in ClickHouse не тормозит
привет
источник

IP

Ian Pilé in ClickHouse не тормозит
а clickhouse не научился rank() ?
источник

ES

Evegniy Skubeev in ClickHouse не тормозит
Всем привет! А какие есть способы копировать таблицу в другую? Есть задача добавить пару колонок, как это проще всего сделать? И как это правльно делать, и есть ли какие нибудь доки по этому?
Спасибо!
источник

EV

Evgeny Vinogradov in ClickHouse не тормозит
Evegniy Skubeev
Всем привет! А какие есть способы копировать таблицу в другую? Есть задача добавить пару колонок, как это проще всего сделать? И как это правльно делать, и есть ли какие нибудь доки по этому?
Спасибо!
Проще просто добавить колонки https://clickhouse.tech/docs/ru/sql-reference/statements/alter/
источник

R

Roman in ClickHouse не тормозит
привет. Подскажите, есть ли какие-то ограничения на количество полей в clickhouse? Если это принципиально, движок: ReplacingMergeTree. Откуда появился вопрос - у меня есть таблица, у которой число полей может увеличиваться со временем. Сейчас их около 500, но гипотетически их число может вырасти до ~10к. Все, что мне удалось нагуглить - это что до тысячи полей все работает нормально
источник

Н

Николай in ClickHouse не тормозит
Роман, проведите эксперимент, чего проще...
источник

R

Roman in ClickHouse не тормозит
Николай
Роман, проведите эксперимент, чего проще...
Эксперимент я проведу, конечно, но хотелось узнать заранее о возможных ограничениях. Может быть есть что-то, о чем уже известно, но что может не вскрыться сразу при моих тестах

Плюс, возможно, кто-то скажет, что 1к+ полей - это совсем не best practice)
источник