Всем привет! Такой вопрос по удалению дубликатов из таблицы. Планировал такой алгоритм:

1) Скопировать distinct записи во временную таблицу
2) Удалить все дублирующиеся записи из оригинальой таблицы - ALTER .. DELETE ... GROUP BY id HAVING count() > 1  
3) Скопировать записи из временной таблицы обратно в оригинальную.

Но при ALTER .. DELETE WHERE id IN (select id from test GROUP BY id HAVING count() > 1) наткнулся на такое поведение, что кликхаус удаляет не все записи с одинаковым id. E.g. в таблице было 2 записи с id = 1, а после alter delete осталась 1. Поскольку это не ожидаемое поведение, решил обратится сюда за помощью! Спасибо!

Ребята - мне на собеседовании задали вопрос - оценить в терминах O-большое - сложность запроса в КХ вида : select user_id, count() from hits group by user_id/ Ответил O(log(n)) - скорее всего неправильно/ В сети информация противоречивая , например сложность группировки по версии вики - О(n)  -  те линейная/ Но это же не так - пофиг на n - запрос выполняется приблизительно одинаковое время вне зависимости от количества записей. А сын говорит - в любой непонятной ситуации - ставь O(n) : ))) Есть у кого какие мысли ?

Ну кликхаус будет читать все данные, так что O(n)

Но он будет читать все данные и при быстрой сортировке например/ Однако ее сложность O(n*log(n)) - разве нет ?

O(n*log(n)) это больше чем O(n), не вижу противоречия

С тестовым сервером проблемы, поэтому взял один из боевых слабонагруженных серверов (есть другие периодические записи\слияния), добавил таблицу с движком Kafka на 4 консьюмера, повесил на неё MV, включил поток примерно 15000 записей в секунду и смотрю top для процесса clickhouse-serv:
%MEM и VIRT - вообще не меняются,
%CPU - продолжает меняться в тех же диапазонах, что и до кафки,
RES - продолжает меняться в диапазоне +- 0.3g

Выходит, что поток в 15к записей в секунду движок Kafka читает вообще практически бесплатно или я не туда смотрю?

Возможно стоило уточнить как отсортированы данные в таблице, если уже по user_id то O(n) т.к. для агрегации достаточно далее просто пройтись по данным

В целом - да - это так. Но блин - что-то не так с расчетом этой сложности ))

нет - данные не отсортированы по user_id - это поле атрибутное для таблицы хитов.

просто подумай - что кликхаусу нужно сделать чтобы получить данные для запроса? что для count, что для group by нужно только прочитать все строки

O(n), при группировке используются хеши т.е. не увеличивают сложность. а то что там отсортировано или нет, только дает возможность стримить результат раньше и меньше памяти можно пользовать. но O такая же...

Спасибо Иван - скорее всего ты прав . Мне нужно просто с этим смириться ))

Добрый день!
Удалось побороть?

Привет) подскажите банальность - как лучше хранить фиксированную по длине последовательность BYTE?

FixedString

Добрый день! Нет

Там мугут быть x00x01  например

Ну и что?
в FixedString можно что угодно хранить

И  порежется значит

хех
жаль

а вообще используете катбуст в бою?