CN
5М и в другой такой же на проде 100М
Size: a a a
2020 August 31
DC
блин ну и булшит, как можно тогда уникальные айдишники сделать?
А rand уникальные значения разве выдает?
CN
А rand уникальные значения разве выдает?
Почти, на моей выборке коллизий не должно быть
CN
а если есть то пофиг
DC
Почти, на моей выборке коллизий не должно быть
cityHash64
CN
cityHash64
А внутрь что кидать?
DC
А внутрь что кидать?
поля у вас какие есть в таблице? как вы записи друг от друга отличаете? кто у вас естественный первичный ключ?
SP
1/0 выдает inf, а
1/cast(0 as Decimal(15,3)) Дает ошибку. Так и задумано или это баг?CN
Как можно из такого запроса удалить все записи, кроме одной рандомной? Надо убрать дубли как то
Это я к вот этому придумываю запрос, если что
DC
Это я к вот этому придумываю запрос, если что
так выполните optimize table xxx final deduplicate -- он удалит полные дубли строк
CN
поля у вас какие есть в таблице? как вы записи друг от друга отличаете? кто у вас естественный первичный ключ?
Его нет
DC
1/0 выдает inf, а
1/cast(0 as Decimal(15,3)) Дает ошибку. Так и задумано или это баг?в decimal нету inf (это в процессоре интел так задизайнили)
DC
это не шутка, в коде на си будет ровно тоже самое.
CN
так выполните optimize table xxx final deduplicate -- он удалит полные дубли строк
А можно это выполнять по конкретным полям? Просто у меня не совсем уникальные значения
SP
да я понял 🙂 спасибо!
CN
мне нужно сгруппировать по двум полям, а взять из них рандомную записб и оставить только её
DC
А можно это выполнять по конкретным полям? Просто у меня не совсем уникальные значения
никак
перелейте в другую таблицу и возьмите одну запись из исходных например, с макс датой или limit или argMax
перелейте в другую таблицу и возьмите одну запись из исходных например, с макс датой или limit или argMax
DC
Добрый день, господа. У меня есть вопрос. Я создал таблицу
CREATE TABLE IF NOT EXISTS forms_log (
uid FixedString(8),
sequence_id FixedString(8),
form_id UInt32,
question_id UInt32,
answer_id UInt32,
is_correct UInt8,
event_type Enum8('load' = 1, 'show' = 2, 'result' = 3, 'completed' = 4, 'session_active' = 5),
session_tick_interval UInt32,
domain_id UInt32,
widget_id UInt32,
ctime DateTime,
event_date Date ALIAS toDate(ctime)
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/forms_log', '{replica}')
ORDER BY ( ctime, form_id, question_id, answer_id, event_type )
SETTINGS index_granularity=8192;
но забыл сделать ей партиционирование по дню, а там уже накопилось данных прилично, можно ли добавить как-то partition by в существующую таблицу?
CREATE TABLE IF NOT EXISTS forms_log (
uid FixedString(8),
sequence_id FixedString(8),
form_id UInt32,
question_id UInt32,
answer_id UInt32,
is_correct UInt8,
event_type Enum8('load' = 1, 'show' = 2, 'result' = 3, 'completed' = 4, 'session_active' = 5),
session_tick_interval UInt32,
domain_id UInt32,
widget_id UInt32,
ctime DateTime,
event_date Date ALIAS toDate(ctime)
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/forms_log', '{replica}')
ORDER BY ( ctime, form_id, question_id, answer_id, event_type )
SETTINGS index_granularity=8192;
но забыл сделать ей партиционирование по дню, а там уже накопилось данных прилично, можно ли добавить как-то partition by в существующую таблицу?
нельзя. Надо переливать в новую таблицу
ЕК
нельзя. Надо переливать в новую таблицу
да, спасибо. уже так и сделали. благо там записей всего 40к было )