это нормально, только нужно контроливать что мутации завершаются и НЕ застревают навсегда и не запускать одновременно 50тыс. мутаций как делают некоторые.

Ок. Спасибо, будем последить

Еще вопрос: посмотрел на кафка коннкетор, вроде как в нем починили известную проблему при ребалансировки кафки + у меня и так данные не айс и нужно их группировать, так как дубли уже в искходных данных, потому вроде норм. Тут вопрос: какой размер блока укзаывать оптимальнее? Я предпологал, что около 1М, но где-то видел рекомендацию 65К.

>вроде как в нем починили известную проблему при ребалансировки кафки
? это нельзя починить без 2pc транзакций

>Я предпологал, что около 1М, но где-то видел рекомендацию 65К.
в современном kafka engine это все уже неактуально и там все по другому

Значит я не так понял. но даже в этом кейсе вроде мы получим дубли данных, что в нашей ситуации соовсем не страшно

Можете пожалуйста подсказать, куда смотреть по данному вопросу?

если речь про https://github.com/ClickHouse/ClickHouse/issues/18668
то там ничего не вмержено, нашлись баги в librdkafka

ок. Спасибо.

Спасибо!

Первичный ключ не даёт уникальности?

Мне нужно, чтобы нельзя было добавить одинаковые id

Сейчас указан ключ сортировки, но как понимаю, он же автоматом и является первичным ключом

Нет. Можно взять Replacing движок и он будет в фоне чистить дубли по ключу, но он не дает 100% гарантии, что  дублей совсем не будет

Здравствуйте!
подскажите, в каких случаях может пригодиться LowCardinality ? Как он работает ? Где храняться данные и в каком виде ?  Можно ли сальтерить с обычной строки в LowCardinality ?
В доке как-то супер мало информации.
Спасибо

Добрый день,

Пытаюсь добавить S3 disk по статьям с Altinity. На тестовой таблице все работает, но когда добавляю S3 disk в существующий storage policy, то получаю в логах

<Error> auto DB::IBackgroundJobExecutor::jobExecutingTask()::(anonymous class)::operator()() const: Poco::Exception. Code: 1000, e.code() = 2, e.displayText() = File not found: /var/lib/clickhouse/data/<database>/<table>, Stack trace (when copying this message, always include the lines below):

Папка /var/lib/clickhouse/data/<database> есть (путь отредактирован), а вот папки с таблицой действительно нет. Что посоветуете? CH 20.12.5.14

Всем привет! Ищем нам в команду DBA (ClickHouse). Наша команда занимается разработкой и сопровождением решений для аналитики на базе различного типа хранилищ. На данный момент мы поддерживаем СlickHouse и Cassandra. На очереди Apache Ignite. По ссылке описание вакансии, но я готов ответить на уточняющие вопросы, потому что сам работаю в этой команде :slightly_smiling_face: Ссылка на вакансию: https://spb.hh.ru/vacancy/39575203

Всем привет! Есть люди с опытом обработки большого массива данных на кх ? Хотелось бы проконсультироваться в личке, что бы чат не засорять.

ачо, нам тоже интересно