Телеграмм чат группы clickhouse_ru страница 9238

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу

2021 February 09

D

Dj in ClickHouse не тормозит

Dmitry Lukovkin

Простите за глупый вопрос. В доках написано, что КХ использует сжатие. Если у нас дефолтные настройки, будет ли сжатие данных на диске?
<compression incl="clickhouse_compression">
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>zstd</method>
</case>
</compression>
Вообще возможно как то "упаковать" данные на диске, чтобы они меньше места занимали?

Правильный order by +encoding иногда может зарешать. Надо знать данные

источник

11:52пожаловаться #1

DL

Dmitry Lukovkin in ClickHouse не тормозит

Правильный order by +encoding иногда может зарешать. Надо знать данные

там тупо логи лежат

источник

11:53пожаловаться #2

K

KiLEX 萊赫 in ClickHouse не тормозит

Dmitry Lukovkin

Простите за глупый вопрос. В доках написано, что КХ использует сжатие. Если у нас дефолтные настройки, будет ли сжатие данных на диске?
<compression incl="clickhouse_compression">
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>zstd</method>
</case>
</compression>
Вообще возможно как то "упаковать" данные на диске, чтобы они меньше места занимали?

по умолчанию пакует LZ4
https://clickhouse.tech/docs/ru/sql-reference/statements/create/table/#codecs
вот тут можно почитать про кодаки сжатия, иногда можно ооооочень эффективно пожать поигравшись кодаками индивидуально для столбцов

clickhouse.tech

Таблица | Документация ClickHouse

CREATE TABLE Запрос CREATE TABLE может иметь несколько форм. CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cl

источник

11:53пожаловаться #3

3

3ldar in ClickHouse не тормозит

нет, я просто хочу понять как работает ASOF JOIN под капотом

источник

11:53пожаловаться #4

K

KiLEX 萊赫 in ClickHouse не тормозит

Dmitry Lukovkin

там тупо логи лежат

а эффективность текущего сжатия какая?

источник

11:53пожаловаться #5

D

Dj in ClickHouse не тормозит

Dmitry Lukovkin

там тупо логи лежат

Текстовые? Тогда только увеличить степень компрессии zstd

источник

11:53пожаловаться #6

DL

Dmitry Lukovkin in ClickHouse не тормозит

а эффективность текущего сжатия какая?

как узнать?

источник

11:54пожаловаться #7

K

KiLEX 萊赫 in ClickHouse не тормозит

Dmitry Lukovkin

как узнать?

SELECT database, table, name, compression_codec,
round(sum(data_compressed_bytes) / 1024/1024/1024, 2) as size_gb,
round(sum(data_uncompressed_bytes) / 1024/1024/1024, 2) as size_uncompressed_gb,
round(size_gb/size_uncompressed_gb*100,2) perc
FROM system.columns

GROUP BY database,table, name, compression_codec
HAVING size_gb>

0.1
ORDER BY name ASC,table ASC

источник

11:54пожаловаться #8

DL

Dmitry Lukovkin in ClickHouse не тормозит

Текстовые? Тогда только увеличить степень компрессии zstd

Можно уже к существующим таблицам менять кодек?

источник

11:54пожаловаться #9

K

KiLEX 萊赫 in ClickHouse не тормозит

Dmitry Lukovkin

Можно уже к существующим таблицам менять кодек?

можно к существующим полям

источник

11:55пожаловаться #10

S

Slach in ClickHouse не тормозит

Dmitry Lukovkin

Можно уже к существующим таблицам менять кодек?

ALTER TABLE.. MODIFY COLUMN
смотрите в доке

источник

11:56пожаловаться #11

DS

Denis Stadnik in ClickHouse не тормозит

сук, По факту не работает у меня вот так

источник

11:57пожаловаться #12

3

3ldar in ClickHouse не тормозит

сук, По факту не работает у меня вот так

А все условия из доки выполнены?

источник

11:57пожаловаться #13

D

Dj in ClickHouse не тормозит

Dmitry Lukovkin

Можно уже к существующим таблицам менять кодек?

не помогут вам кодеки особо на лог-текстовых полях

источник

11:58пожаловаться #14

DL

Dmitry Lukovkin in ClickHouse не тормозит

SELECT database, table, name, compression_codec,
round(sum(data_compressed_bytes) / 1024/1024/1024, 2) as size_gb,
round(sum(data_uncompressed_bytes) / 1024/1024/1024, 2) as size_uncompressed_gb,
round(size_gb/size_uncompressed_gb*100,2) perc
FROM system.columns

GROUP BY database,table, name, compression_codec
HAVING size_gb>

0.1
ORDER BY name ASC,table ASC

Syntax error: failed at position 1 ('round'):

источник

11:59пожаловаться #15

K

KiLEX 萊赫 in ClickHouse не тормозит

не помогут вам кодеки особо на лог-текстовых полях

можно попробовать какой нить LZ4HC(9+), ну и логи бывают очень кардинальными )

источник

11:59пожаловаться #16

DS

Denis Stadnik in ClickHouse не тормозит

А все условия из доки выполнены?

да. Соединяю по id пользователя и data в левой таблице должна быть меньше чем в правой

источник

11:59пожаловаться #17

K

KiLEX 萊赫 in ClickHouse не тормозит

Dmitry Lukovkin

Syntax error: failed at position 1 ('round'):

У меня точно такая же нога и она не болит)

источник

12:00пожаловаться #18

D

Dj in ClickHouse не тормозит

можно попробовать какой нить LZ4HC(9+), ну и логи бывают очень кардинальными )

LZ4HC - это не кодек, это компрессия, и то лучше как я сказал zstd>10... короче надо взять набор данных и делать бенчмарк

источник

12:00пожаловаться #19

K

KiLEX 萊赫 in ClickHouse не тормозит

LZ4HC - это не кодек, это компрессия, и то лучше как я сказал zstd>10... короче надо взять набор данных и делать бенчмарк

ну да, в любом случае надо пробовать

источник

12:00пожаловаться #20