Size: a a a

ClickHouse не тормозит

2020 June 29

BB

Bral Bral in ClickHouse не тормозит
Эксперты, столкнулся с проблемой следующего рода - имеем 1 и тот же запрос, который обращается к дистрибьютед таблице. При выполнении через http - он может выполняться минутами,  через chclient несколько десятков секунд. В чем может быть проблема ? И вообще такое поведение нормально ? Даже если взять в учёт, что через клиент общение идёт в native формате , не может же быть такая разница существенная
источник

DT

Dmitry Titov in ClickHouse не тормозит
Bral Bral
Эксперты, столкнулся с проблемой следующего рода - имеем 1 и тот же запрос, который обращается к дистрибьютед таблице. При выполнении через http - он может выполняться минутами,  через chclient несколько десятков секунд. В чем может быть проблема ? И вообще такое поведение нормально ? Даже если взять в учёт, что через клиент общение идёт в native формате , не может же быть такая разница существенная
а если дописать FORMAT Null?
источник

DT

Dmitry Titov in ClickHouse не тормозит
может, разные пользователи с разными лимитами?
источник

BB

Bral Bral in ClickHouse не тормозит
Dmitry Titov
а если дописать FORMAT Null?
Сейчас нет возможности, а что должно показать ?
источник

BB

Bral Bral in ClickHouse не тормозит
Dmitry Titov
может, разные пользователи с разными лимитами?
Пользователь одинаковый и там и там.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Bral Bral
Сейчас нет возможности, а что должно показать ?
ничего, но это означает, что кликхаус не будет передавать данные клиенту.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Просто выполнит запрос
источник

ee

elessar elfstone in ClickHouse не тормозит
Bral Bral
Кастомное форматирование вообще в 19 с чем - то добавили , если не ошибаюсь. Вероятно в этом проблема . Попробуйте без этого ключа.
а на сервере можно это настроить
источник

ee

elessar elfstone in ClickHouse не тормозит
разделитель
источник

BB

Bral Bral in ClickHouse не тормозит
elessar elfstone
разделитель
Можно посмотреть из доступных форматов , но вероятно там не все были в такой старой версии. Вам проще будет потом самому этот файл переформатировать .
источник

ee

elessar elfstone in ClickHouse не тормозит
Bral Bral
Можно посмотреть из доступных форматов , но вероятно там не все были в такой старой версии. Вам проще будет потом самому этот файл переформатировать .
да уж
источник

ee

elessar elfstone in ClickHouse не тормозит
гигабайты)
источник

DT

Dmitry Titov in ClickHouse не тормозит
elessar elfstone
гигабайты)
так это потоково, между clickhouse-client и отправкой пайпа в файл)
источник

DK

Dmitry Kuznetsov in ClickHouse не тормозит
Anton Kovalenko
/report
/report
источник

KO

Konstantin Orzhekhov... in ClickHouse не тормозит
Anton Kovalenko
/report
/report
источник

AV

Anton Vishnevski in ClickHouse не тормозит
/report
источник

M

Mikhail in ClickHouse не тормозит
привет, а подскажите плз, может кто из сорцов собирает, у меня ругается на config_opt_safety_checks, то что не объявлено
v20.3.12.112-stable
где задается JEMALLOC_OPT_SAFETY_CHECKS? через env?
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
Госпда, добрый день! Обновил 3 дня назад конфиг зукипера в связи с тем, что забивалось место логами. Лучше не стало. Куда еще можно копать?
состояние на сейчас

zookeeper@zookeeper-san-0:/var/lib/zookeeper$ du -h
57G ./log/version-2
57G ./log
2.0G ./data/version-2.back
4.1G ./data/version-2
6.1G ./data
16K ./lost+found
63G .


Текущий конфиг зукипера:

zookeeper@zookeeper-san-0:/opt/zookeeper/conf$ cat zoo.cfg
// This file was autogenerated by k8szk DO NOT EDIT
clientPort=2181
dataDir=/var/lib/zookeeper/data
dataLogDir=/var/lib/zookeeper/log
tickTime=2000
initLimit=5
syncLimit=10
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
autopurge.snapRetainCount=10
autopurge.purgeInteval=1
server.1=zookeeper-san-0.zookeeper-san-headless.san.svc.cluster.local:2888:3888
server.2=zookeeper-san-1.zookeeper-san-headless.san.svc.cluster.local:2888:3888
server.3=zookeeper-san-2.zookeeper-san-headless.san.svc.cluster.local:2888:3888
источник

KB

Kirill Borovko in ClickHouse не тормозит
Всем привет, подскажите пожалуйста, как или где посмотреть размер индекса таблицы на диске для CH? Правильно ли я понимаю, что размер индекса это размер таблицы на диске минус объем данных в таблице(можно получить с помощью запроса "SELECT table, round(sum(bytes) / 1024/1024/1024, 2) as size_gb
FROM system.parts
WHERE active
GROUP BY table
ORDER BY size_gb DESC")?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Илья Ибрагимов
Госпда, добрый день! Обновил 3 дня назад конфиг зукипера в связи с тем, что забивалось место логами. Лучше не стало. Куда еще можно копать?
состояние на сейчас

zookeeper@zookeeper-san-0:/var/lib/zookeeper$ du -h
57G ./log/version-2
57G ./log
2.0G ./data/version-2.back
4.1G ./data/version-2
6.1G ./data
16K ./lost+found
63G .


Текущий конфиг зукипера:

zookeeper@zookeeper-san-0:/opt/zookeeper/conf$ cat zoo.cfg
// This file was autogenerated by k8szk DO NOT EDIT
clientPort=2181
dataDir=/var/lib/zookeeper/data
dataLogDir=/var/lib/zookeeper/log
tickTime=2000
initLimit=5
syncLimit=10
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
autopurge.snapRetainCount=10
autopurge.purgeInteval=1
server.1=zookeeper-san-0.zookeeper-san-headless.san.svc.cluster.local:2888:3888
server.2=zookeeper-san-1.zookeeper-san-headless.san.svc.cluster.local:2888:3888
server.3=zookeeper-san-2.zookeeper-san-headless.san.svc.cluster.local:2888:3888
вам стоит понять простую вещь. ZK in-memory db. На диске хранится только бекап. При старте ZK восстанавливает свое состояние в памяти читая последний снепшот + логи после снепшота.
источник