Size: a a a

ClickHouse не тормозит

2020 June 29

RO

Required Optional in ClickHouse не тормозит
спасибо
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в режиме debug все логируется в текстовом логе. И можно влючить логирование запросов в таблицу query_log
А активные подключения где-то отображаются?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
А активные подключения где-то отображаются?
в каком-то смысле их нет вообще в КХ, поэтому ответить на ваш вопрос нельзя, не зная вашей цели.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
активные запросы в system.processes
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в каком-то смысле их нет вообще в КХ, поэтому ответить на ваш вопрос нельзя, не зная вашей цели.
Цель мониторинг начала работы пользователя и завершение его работы (завершение сессии). Я с Постгрессом работаю, в основном, там сессии не обрываются, ожидают запроса (idle)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
Цель мониторинг начала работы пользователя и завершение его работы (завершение сессии). Я с Постгрессом работаю, в основном, там сессии не обрываются, ожидают запроса (idle)
нету сессий в КХ, нечего мониторить
источник

AK

Alexandr Kondratev in ClickHouse не тормозит
Привет! Есть ли способ указать формат ответа JSON для ответа на INSERT INTO и для ошибок?
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нету сессий в КХ, нечего мониторить
А как же установление параметров через set для сессии?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
А как же установление параметров через set для сессии?
ну в этом смысле нет мониторинга и нет аудита
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexandr Kondratev
Привет! Есть ли способ указать формат ответа JSON для ответа на INSERT INTO и для ошибок?
нет
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Добрый вечер. А создавал кто таблицы через докер композ? Или только отдельным скриптом костылить создание таблиц в новый сервис КХ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Andrew (backEnd)
Добрый вечер. А создавал кто таблицы через докер композ? Или только отдельным скриптом костылить создание таблиц в новый сервис КХ?
можно положить скрипты для создания в определенную папочку и тогда они будут созданы при запуске докер конта
источник

p

pv in ClickHouse не тормозит
Andrew (backEnd)
Добрый вечер. А создавал кто таблицы через докер композ? Или только отдельным скриптом костылить создание таблиц в новый сервис КХ?
Подключить папку коду положить sql-файлы
    volumes:
     - './testsuite/entrypoint-initdb.d:/docker-entrypoint-initdb.d'
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrew (backEnd)
Добрый вечер. А создавал кто таблицы через докер композ? Или только отдельным скриптом костылить создание таблиц в новый сервис КХ?
https://hub.docker.com/r/yandex/clickhouse-server/

scripts under /docker-entrypoint-initdb.d. After the entrypoint calls initdb it will run any *.sql files

или еще можно в metadata положить
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
очень хороший способ, спасибо большое
источник
2020 June 30

ED

Evgeniy Devyatykh in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да, видимо можно уменьшить index_granularity до 512 / 128, запускать запросы с max_threads=1, max_block_size=1024
отчитываюсь
так уже можно жить!
t3a.2xlarge 8/32
index granularilty 128, max_threads 1, max_block_size 1024
insert 600 rps через Buffer + 100rps этих селектов - напрягается, конечно, но тянет LA max 10
при 50 rps селектов - вообще нормально уже, LA 3-4
при более высоких index granularity похуже, но видимо больше играет max_threads/max_block_size

в чём главный минус маленького index granularity? ОЗУ жрёт больше?
источник

S

Slach in ClickHouse не тормозит
Evgeniy Devyatykh
отчитываюсь
так уже можно жить!
t3a.2xlarge 8/32
index granularilty 128, max_threads 1, max_block_size 1024
insert 600 rps через Buffer + 100rps этих селектов - напрягается, конечно, но тянет LA max 10
при 50 rps селектов - вообще нормально уже, LA 3-4
при более высоких index granularity похуже, но видимо больше играет max_threads/max_block_size

в чём главный минус маленького index granularity? ОЗУ жрёт больше?
.mrk файлы больше по размеру
соответсвенно mark_cache вымывается чаще
и lookup \ filter по primary key медленее в среднем
источник

VM

Vadim Metikov in ClickHouse не тормозит
А в чём минусы большой гранулярности?
источник

BB

Bral Bral in ClickHouse не тормозит
Vadim Metikov
А в чём минусы большой гранулярности?
Он вам в память может не поместиться , наверное , самое существенное .
источник

S

Slach in ClickHouse не тормозит
Vadim Metikov
А в чём минусы большой гранулярности?
ну дык это, если PK сильно кардинальный, а гранулярность 8192 по умолчанию
это значит что записывается в .mrk только каждая 8192 значение PK (в смысле значение всех ПОЛЕЙ в PK)
и соответсвенно чаще будет сканироваться сама колонка а не .mrk файл
источник