Смотря какой уровень. На уровне, где сжимал не хуже, падение скорости сжатия было больше. Не у компьютера, поэтому таблички под рукой нет.

А сам джсон -- сообщения между микросервисами (то есть первоначально структурные), то есть замена повторений отлично для имён полей работает и на энтропийное сжатие не так много остаётся.

Ну и скорость разжатия может тоже быть важной (мы например регрессионку гоняем и выкачивать по 300к сообщений в секунду или по 500к есть разница).

Так что дефолтом zstd всем советовать я бы побоялся, везде нужно тестировать под конкретные кейсы, благо в кх вариантов масса.

Ну и даже lz4hc забивает проц в 100% на вставку и больше 100к в секунду в один поток вставить не можем (но можно параллельно xd)

интересно. спасибо

Ну у вас там документы большие наверное, 100к все таки звучит очень мало

Небольшие, байт по 300 ну и метаинфа. Ну и несколько data skipping индекса ещё.

В продуктовые таблицы рядом без json колонки вставка где-то в 3 раза быстрее.

А у вас какого размера?

Через драйвер https://github.com/ClickHouse/clickhouse-go на го кто делал bulk insert? Можете прояснить, как это происходит вообще? он отправляет все данные в кликхауз, кликхауз буфферизует, а после Commit'а добавляет в таблицу?

Привет. Таблицы system.*_log чистить как-то можно или лучше не трогать?

можно, можно TTL навесить, можно truncate, можно drop partition как хотите.

То есть оно ни на что не влияет?

ну КХ только пишет туда, можно выключить если не вам не нужны

Ок, спасибо.

у кого был опыт апдейта кликхаус с версии 20.3 до 20.4 там есть какие-то проблемы с обратной совместимостью серьезные? боюсь что нет времени на тщательную проверку и будем так обновлять

А есть нужна обновлять то в таком случае?, Обновитесь на последний стейбл 20.3 и успокойтесь тогда

есть нужда, так как в 20.4 изменена система подсчета памяти и это должно решить текущие ошибки с memory limit total

не очень понятно о чем вы

но вообще https://github.com/ClickHouse/ClickHouse/pull/12942

по конкретике не могу сказать, это совет от поддержки я.облака

Подскажите по джойнам. Как я понял, джойн — очень дорогая операция, так как CH грузит все данные в память и ещё создаёт дополнитнльную таблицу. То есть если я хочу сджойнить 1тб, то сделать это не удастся. А почему CH не делает простой в реализации merge join? Который можно сделать потоково практически без потребления памяти на любом объёме данных. При условии, что две таблицы отсортированы по одному и тому же ключу.

По умолчанию ClickHouse использует алгоритм hash join. ClickHouse берет <right_table> и создает для него хэш-таблицу в оперативной памяти. После некоторого порога потребления памяти ClickHouse переходит к алгоритму merge join.

hash join это здорово и быстро (если данные влезут в память, а это очень редкое явление в бигдате), но мне интересно, почему нельзя выбрать merge join.