Телеграмм чат группы clickhouse

Evgeniy Devyatykh

как бы да. это собственно работает в mysql сейчас
была идейка попробовать к КХ адаптировать. но вот этот гадский запрос портит всё

а какая версия КХ кстати?

16:15пожаловаться #1

ED

Evgeniy Devyatykh in ClickHouse не тормозит

а какая версия КХ кстати?

сначала была 20.3
потом обновил до 20.4 - словил Memory limit (total) exceeded
в попытках понять WTF - обновил до testing 20.6.1.3887
разницы особе не заметил

16:17пожаловаться #2

KB

зачем вам? .idx файлы очень маленькие, индекс разреженный

Задача заключается в том, чтобы проверить как изменяется производительность от index_granularity и необходимо проследить как при этом меняется размер индекса

16:22пожаловаться #3

DC

Задача заключается в том, чтобы проверить как изменяется производительность от index_granularity и необходимо проследить как при этом меняется размер индекса

тут надо переживать за озу, индекс в озу целиком

system.parts колонки
primary_key_bytes_in_memory
primary_key_bytes_in_memory_allocated

16:23пожаловаться #4

KB

тут надо переживать за озу, индекс в озу целиком

system.parts колонки
primary_key_bytes_in_memory
primary_key_bytes_in_memory_allocated

Понял, спасибо

16:25пожаловаться #5

KB

тут надо переживать за озу, индекс в озу целиком

system.parts колонки
primary_key_bytes_in_memory
primary_key_bytes_in_memory_allocated

но все же, если нужно получить размер индекса, то где его можно глянуть?

16:53пожаловаться #6

DC

но все же, если нужно получить размер индекса, то где его можно глянуть?

индекс не компрессирован == system.parts.primary_key_bytes_in_memory

16:56пожаловаться #7

p

pv in ClickHouse не тормозит

но все же, если нужно получить размер индекса, то где его можно глянуть?

Не помню где, подобрал в копилку такой запрос. Выводящий размеры таблиц, тип и как раз размер индекса о котором Вам сказали. Вот может будет полезным

select concat(database, '.', table) as table, formatReadableSize(sum(bytes)) as size, sum(rows) as rows, max(modification_time) as latest_modification, sum(bytes) as bytes_size, any(engine) as engine, formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size from system.parts where active group by database, table order by bytes_size desc;

Alex Krash in ClickHouse не тормозит

16:58пожаловаться #8

AK

pv

Не помню где, подобрал в копилку такой запрос. Выводящий размеры таблиц, тип и как раз размер индекса о котором Вам сказали. Вот может будет полезным

select concat(database, '.', table) as table, formatReadableSize(sum(bytes)) as size, sum(rows) as rows, max(modification_time) as latest_modification, sum(bytes) as bytes_size, any(engine) as engine, formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size from system.parts where active group by database, table order by bytes_size desc;

лучше не алиасить операцию concat названием физического поля table. Это заставляет читателей думать "что хотел сказать автор" + CH тут было (может и есть) undefined behavior

17:00пожаловаться #9

p

pv in ClickHouse не тормозит

Alex Krash

лучше не алиасить операцию concat названием физического поля table. Это заставляет читателей думать "что хотел сказать автор" + CH тут было (может и есть) undefined behavior

Ну автор не я, но учту. Спасибо.

17:01пожаловаться #10

KB

индекс не компрессирован == system.parts.primary_key_bytes_in_memory

нет никаких подводных камней в том, что выведет бд с тем что есть на диске?

17:02пожаловаться #11

KB

pv

Не помню где, подобрал в копилку такой запрос. Выводящий размеры таблиц, тип и как раз размер индекса о котором Вам сказали. Вот может будет полезным

select concat(database, '.', table) as table, formatReadableSize(sum(bytes)) as size, sum(rows) as rows, max(modification_time) as latest_modification, sum(bytes) as bytes_size, any(engine) as engine, formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size from system.parts where active group by database, table order by bytes_size desc;

пополню и свою копилку, хороший запрос.
спасибо

17:03пожаловаться #12

DC

нет никаких подводных камней в том, что выведет бд с тем что есть на диске?

да х.з.
вам чего сложно посчитать размер primary.idx файлов на диске? задача разовая, и бессмысленная

17:04пожаловаться #13

KB

да х.з.
вам чего сложно посчитать размер primary.idx файлов на диске? задача разовая, и бессмысленная

нет, не сложно, просто мне делают доступ к серваку и спрашивают, что конкретно я буду смотреть, чтобы выдать права.
потому то и уточняю тут, чтобы по 100 не спрашивать и не просить доступы

17:06пожаловаться #14

DC

нет, не сложно, просто мне делают доступ к серваку и спрашивают, что конкретно я буду смотреть, чтобы выдать права.
потому то и уточняю тут, чтобы по 100 не спрашивать и не просить доступы

имхо зависимость линейная,
если при index_granularity 8192 размер индекса 10MB, то при 128 будет 10*8192/128

Bral Bral in ClickHouse не тормозит

17:08пожаловаться #15

BB

Подскажите , при выполнении запроса select dictget(...) , ... from distributed_table операция получения значений из словаря будет выполняться на каждой ноде, или на ноде инициаторе? И существует ли возможность это регулировать явно ?

17:17пожаловаться #16

DC

Bral Bral

Подскажите , при выполнении запроса select dictget(...) , ... from distributed_table операция получения значений из словаря будет выполняться на каждой ноде, или на ноде инициаторе? И существует ли возможность это регулировать явно ?

на каждой.
если вынести за скобки (во внешний запрос), то на инициаторе

Bral Bral in ClickHouse не тормозит

17:18пожаловаться #17

BB

на каждой.
если вынести за скобки (во внешний запрос), то на инициаторе

Т.е select dictget(...) From (select .. from distributed_table) , верно ?

17:20пожаловаться #18

DC