Size: a a a

ClickHouse не тормозит

2020 August 07

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Patsev
сделал тест. отправлял одни и теже логи в clickhouse и в elasticsearch.
Размер таблицы в clickhouse занимает 857.19 МБ.
Размер тех же данных в индексе в Elasticsearch занимае 4,5ГБ.
Если в vector в параметрах не указывать в Clickhouse данные занимает в 4500/857.19 = 5.24 раза меньше чем в Elasticsearch.
При создании таблицы указывал:
ENGINE = MergeTree() PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;
Clickhouse еще больше сжимать может?
Могу в личку или здесь предоставить статью как я делал.
Zstd включен?
источник

EM

Evgeny Makarov in ClickHouse не тормозит
Добрый день.
Подскажите пожалуйста, в движке ReplacingMergeTree колонка ver которая используется для выбора версии объекта при слиянии, может иметь тип DateTime64(6) или только DateTime ?
источник

EM

Evgeny Makarov in ClickHouse не тормозит
так, опытным путем было установлено, что может
источник
2020 August 08

AP

Anton Patsev in ClickHouse не тормозит
В конфигах и при создании таблицы про zstd ничего не было
источник

D

Dj in ClickHouse не тормозит
Anton Patsev
В конфигах и при создании таблицы про zstd ничего не было
значит у вас по дефолту идет, а по дефолту lz4. сделайте таблицу с zstd компрессией
источник

AP

Anton Patsev in ClickHouse не тормозит
Dj
значит у вас по дефолту идет, а по дефолту lz4. сделайте таблицу с zstd компрессией
compression incl="clickhouse_compression"> <case> <min_part_size>1000</min_part_size> <min_part_size_ratio>0.01</min_part_size_ratio> <method>zstd</method> </case> </compression>.  Так подойдёт для сжатия логов ?
источник

D

Dj in ClickHouse не тормозит
В конфиге лучше не трогать, напрямую в ддл пишите
источник

D

Dj in ClickHouse не тормозит
В конфиге можете увеличить это
https://t.me/clickhouse_ru/175508
источник

SV

Stas V in ClickHouse не тормозит
То
источник

VG

Vsevolod Grabelnikov in ClickHouse не тормозит
Dmitriy Novikov
Этот не Яндекс клауд. Мейл.
У нас (в Яндекс.Облаке) можно параметры юзерам прописывать
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Vsevolod Grabelnikov
У нас (в Яндекс.Облаке) можно параметры юзерам прописывать
это здорово, но вы наш прямой конкурент
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Здравствуйте! Есть столбец дата. Но, есть необходимость в запросе группировать по часам. Стоит ли отдельный столбец Час в таблицу добавить? Или хватит возможностей GROUP BY toHour()?
источник

pk

papa karlo in ClickHouse не тормозит
toHour от чего?
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
От даты
источник

pk

papa karlo in ClickHouse не тормозит
чему равен toHour от восьмого августа?
источник

pk

papa karlo in ClickHouse не тормозит
у часа меньше кардинальность, лучше жмется, меньше байт на строку и на блок. но это лишний столбец.
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
А сама функция - получения часа от даты, и группировка по ней, не сильно оптимизировано?
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Может и не надо столбца с часами?
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Я тут нуб, поэтому плиз, по простому ответьте
источник

pk

papa karlo in ClickHouse не тормозит
если у вас по времени данные отсортированы, то делайте как проще
источник