A
Size: a a a
2020 August 28
DC
да
TB
Всем привет!
Подскажите плиз могу ли я используя ClickHouse производить дедупликацию данных.
Но только сохранять нужно первую запись, а не последнюю.
пример.
pk|value
1|a
1|b
хочу оставить строку с value = a
Подскажите плиз могу ли я используя ClickHouse производить дедупликацию данных.
Но только сохранять нужно первую запись, а не последнюю.
пример.
pk|value
1|a
1|b
хочу оставить строку с value = a
VN
ReplacingMergeTree
DT
Timur Bajurov
Всем привет!
Подскажите плиз могу ли я используя ClickHouse производить дедупликацию данных.
Но только сохранять нужно первую запись, а не последнюю.
пример.
pk|value
1|a
1|b
хочу оставить строку с value = a
Подскажите плиз могу ли я используя ClickHouse производить дедупликацию данных.
Но только сохранять нужно первую запись, а не последнюю.
пример.
pk|value
1|a
1|b
хочу оставить строку с value = a
Можно но нужно чуть схитрить с version_column для ReplacingMergeTree
TB
а поподробнее)
TB
там могут быть отрицательные значения?
И
Можно но нужно чуть схитрить с version_column для ReplacingMergeTree
И
Timur Bajurov
там могут быть отрицательные значения?
ver — столбец с версией, тип UInt*, Date, DateTime или DateTime64.
DT
Timur Bajurov
там могут быть отрицательные значения?
нет, но можно допустим использовать что то вроде maxUInt32 - now()
И
Никто не мешает завести колонку вычисляемую на основе основной колонки, но которая будет подходить под условия
DT
SELECT
toUInt64(-1000) AS a,
toUInt64(-30000) AS b,
a > b AS comp
┌────────────────────a─┬────────────────────b─┬─comp─┐
│ 18446744073709550616 │ 18446744073709521616 │ 1 │
└──────────────────────┴──────────────────────┴──────┘
на самом деле и с отрицательными пойдет
toUInt64(-1000) AS a,
toUInt64(-30000) AS b,
a > b AS comp
┌────────────────────a─┬────────────────────b─┬─comp─┐
│ 18446744073709550616 │ 18446744073709521616 │ 1 │
└──────────────────────┴──────────────────────┴──────┘
на самом деле и с отрицательными пойдет
И
Ну как бы сравнение чисел ломается, какое-нибудь большое отрицательное число будет БОЛЬШЕ чем небольшое положительное
DT
Ну как бы сравнение чисел ломается, какое-нибудь большое отрицательное число будет БОЛЬШЕ чем небольшое положительное
Ну мы сравнивать будет всегда отрицательные числа
TB
нет, но можно допустим использовать что то вроде maxUInt32 - now()
спасибо большое!)
ZZ
Storage MergeTree doesn't support FINAL: While executing CreatingSetsTransform.
шото куча ограничений, аж расстройство накатывает
шото куча ограничений, аж расстройство накатывает
ZZ
у меня в replacing merge tree там дупликаты есть. Хочу сджойнить с другой таблицей, групбай, и шобы без дупликатов было. Как делать?
ZZ
(уже попробовал sql на обычном mergetree оттуда та же ошибка)
ZZ
select * from
(SELECT key,
agg_date(timecol) as dt
aggregating(col)
FROM huge_table ai final
join some_limiting_table on condition
where 1 = 1
GROUP BY key ) t left join some_other_limiting_table lt2 on lt2.dt = t.dt
D
заверните в подзапрос
SELECT key,
agg_date(timecol) as dt
aggregating(col)
FROM huge_table ai final