Size: a a a

ClickHouse не тормозит

2020 August 07

DC

Denny Crane (I don't... in ClickHouse не тормозит
Azat Khadiev
всем привет. КХ умел до этой фичи джоинить, используя диск?
умел, join_algorithm=partial_merge
источник

A

Azat Khadiev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
умел, join_algorithm=partial_merge
а что для этого нужно было делать, что-то в конфиге править?
источник

A

Azat Khadiev in ClickHouse не тормозит
или в query?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Azat Khadiev
а что для этого нужно было делать, что-то в конфиге править?
да где угодно, ну в профиле можно вписать join_algorithm>auto</join_algorithm
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
вы проверьте сначала, а то на диске join 4 часа вместо 4 сек может работать
источник

A

Azat Khadiev in ClickHouse не тормозит
но если этого не делать, то Clickhouse 19.x.x джоинит только в памяти, верно?
источник

A

Azat Khadiev in ClickHouse не тормозит
да не, у меня ж вопрос чисто доступности фичи
источник

A

Azat Khadiev in ClickHouse не тормозит
спор возник
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Azat Khadiev
но если этого не делать, то Clickhouse 19.x.x джоинит только в памяти, верно?
В общем случае КХ 19. не умеет partial_merge
источник

A

Azat Khadiev in ClickHouse не тормозит
спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в смысле 19х версий очень много
источник

A

Azat Khadiev in ClickHouse не тормозит
ну у нас одна из последних - декабрьская вроде
источник

MG

Mikhail Glader in ClickHouse не тормозит
Добрый день. Можно ли выполнять optimize table  на одной партиции?
источник

K

Kid in ClickHouse не тормозит
Mikhail Glader
Добрый день. Можно ли выполнять optimize table  на одной партиции?
источник

K

Kid in ClickHouse не тормозит
"Если указать PARTITION, то оптимизация выполняется только для указанной партиции"
источник

AP

Anton Patsev in ClickHouse не тормозит
сделал тест. отправлял одни и теже логи в clickhouse и в elasticsearch.
Размер таблицы в clickhouse занимает 857.19 МБ.
Размер тех же данных в индексе в Elasticsearch занимае 4,5ГБ.
Если в vector в параметрах не указывать в Clickhouse данные занимает в 4500/857.19 = 5.24 раза меньше чем в Elasticsearch.
При создании таблицы указывал:
ENGINE = MergeTree() PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;
Clickhouse еще больше сжимать может?
Могу в личку или здесь предоставить статью как я делал.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Anton Patsev
сделал тест. отправлял одни и теже логи в clickhouse и в elasticsearch.
Размер таблицы в clickhouse занимает 857.19 МБ.
Размер тех же данных в индексе в Elasticsearch занимае 4,5ГБ.
Если в vector в параметрах не указывать в Clickhouse данные занимает в 4500/857.19 = 5.24 раза меньше чем в Elasticsearch.
При создании таблицы указывал:
ENGINE = MergeTree() PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;
Clickhouse еще больше сжимать может?
Могу в личку или здесь предоставить статью как я делал.
ORDER BY timestamp выглядит подозрительным, ты делал какую нибудь нормализацию логов? раскидывал ли их по колонкам?
Какие указал кодеки для столбцов?
источник

AP

Anton Patsev in ClickHouse не тормозит
Dmitry Titov
ORDER BY timestamp выглядит подозрительным, ты делал какую нибудь нормализацию логов? раскидывал ли их по колонкам?
Какие указал кодеки для столбцов?
Нет. Ничего такого.
источник

D

Dj in ClickHouse не тормозит
Anton Patsev
сделал тест. отправлял одни и теже логи в clickhouse и в elasticsearch.
Размер таблицы в clickhouse занимает 857.19 МБ.
Размер тех же данных в индексе в Elasticsearch занимае 4,5ГБ.
Если в vector в параметрах не указывать в Clickhouse данные занимает в 4500/857.19 = 5.24 раза меньше чем в Elasticsearch.
При создании таблицы указывал:
ENGINE = MergeTree() PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;
Clickhouse еще больше сжимать может?
Могу в личку или здесь предоставить статью как я делал.
сильно зависит от данных, кодеков, компрессии.

по хорошему elastic тоже сжимает по умолчанию lz4 (ну можно настроить на deflate и сожмет ещё сильнее).
источник

D

Dj in ClickHouse не тормозит
Anton Patsev
Нет. Ничего такого.
а, не увидел, тогда это нормально, если это одна текстовая колонка... можно попробовать увеличить
min_compress_block_size  65536
max_compress_block_size  1048576

но в целом ожидать чудес не стоит
источник