Size: a a a

ClickHouse не тормозит

2020 June 19

D

Dj in ClickHouse не тормозит
Vladyslav Sakun
Привет!
Есть таблица ReplicatedSummingMergeTree

CREATE TABLE IF NOT EXISTS data on cluster '{cluster}' (
 creation_ts DateTime64 DEFAULT NOW(),
 id1 UUID,
 id2 UInt32,
 id3 UInt32,
 number UInt32
) engine = ReplicatedSummingMergeTree(
 '/clickhouse/{cluster}/tables/{shard}/default/data',
 '{replica}',
 (number)
)
PARTITION BY toYYYYMM(creation_ts)
ORDER BY (id1, id2, id3)

Нужно что-бы при слиянии кусков данных creation_ts брался максимальным среди всех сливающихся кусков.

Это вообще возможно?
ReplicatedAggregatingMergeTree?
источник

OF

Oleksandr Forostiany... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
просто удалите .sql этого dictionary_name при остановленном КХ
Это конечно помогает, так же это удаляет таблицу которая на Engine=Dictionary. А как быть с тем что CH не запускается после появления такой таблицы и падает с exception ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksandr Forostianyi
Это конечно помогает, так же это удаляет таблицу которая на Engine=Dictionary. А как быть с тем что CH не запускается после появления такой таблицы и падает с exception ?
ну это новый неизвестный баг в 20.4 , заведите на гитхабе issue , в тестах КХ просто нету теста на это
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Dj
ReplicatedAggregatingMergeTree?
Как вариант, думал над вариантом MergeTree в паре с SummingMergeTree
источник

AT

Al T in ClickHouse не тормозит
Dj
Ну почему так категорично, может меня за это на работе едой кормят )) а КХ - ну это просто пока недостаточно нужных людей с компетенциями... мелковат пока коммюнити, точнее "фрагментирован" =)
да я думаю еще не накопилось критической массы, но прогресс же налицо с фичами - так что это дело времени. Щас вскочим в последний хайп - separate compute and storage (to make it slow again)  и народ скажет ну вот теперь infinite scalability и будет благодать.. или нет...
источник

D

Dj in ClickHouse не тормозит
Al T
да я думаю еще не накопилось критической массы, но прогресс же налицо с фичами - так что это дело времени. Щас вскочим в последний хайп - separate compute and storage (to make it slow again)  и народ скажет ну вот теперь infinite scalability и будет благодать.. или нет...
да, "MongoDB is Web Scale" =)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladyslav Sakun
Как вариант, думал над вариантом MergeTree в паре с SummingMergeTree
AggregatingMT умеет SimpleAggregateFunction max, без стейтов
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
AggregatingMT умеет SimpleAggregateFunction max, без стейтов
Спасибо!
источник

OF

Oleksandr Forostiany... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну это новый неизвестный баг в 20.4 , заведите на гитхабе issue , в тестах КХ просто нету теста на это
источник

A

Andrey in ClickHouse не тормозит
Oleksandr Forostianyi
Это конечно помогает, так же это удаляет таблицу которая на Engine=Dictionary. А как быть с тем что CH не запускается после появления такой таблицы и падает с exception ?
https://github.com/ClickHouse/ClickHouse/issues/10397

вроде вы вот в этот баг попали
источник

OF

Oleksandr Forostiany... in ClickHouse не тормозит
Yes, looks like =( And it is not resolved. Ty for link
источник

D

Dmutruu in ClickHouse не тормозит
Сначала появляется такая ошибка о том что, стринга и int не соответствуют, раньше решал toInt64OrZero, но почему -то больше не работает и выдает ошибку которая вторая

[2020-06-19 19:20:40] Code: 43, e.displayText() = DB::Exception: Illegal types of arguments (Int32, String) of function notEquals (version 20.4.5.36 (official build))

[2020-06-19 19:20:58] Code: 43, e.displayText() = DB::Exception: Illegal type Int64 of first argument of function toInt64OrZero. Conversion functions with postfix 'OrZero' or 'OrNull'  should take String argument (version 20.4.5.36 (official build))
источник

D

Dmutruu in ClickHouse не тормозит
как можно с этим справиться
источник

D

Dmutruu in ClickHouse не тормозит
при джоине эта ситуация происходит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmutruu
Сначала появляется такая ошибка о том что, стринга и int не соответствуют, раньше решал toInt64OrZero, но почему -то больше не работает и выдает ошибку которая вторая

[2020-06-19 19:20:40] Code: 43, e.displayText() = DB::Exception: Illegal types of arguments (Int32, String) of function notEquals (version 20.4.5.36 (official build))

[2020-06-19 19:20:58] Code: 43, e.displayText() = DB::Exception: Illegal type Int64 of first argument of function toInt64OrZero. Conversion functions with postfix 'OrZero' or 'OrNull'  should take String argument (version 20.4.5.36 (official build))
писать алиасы, думаю поле не из той таблицы берется
источник

Д

Дмитрий in ClickHouse не тормозит
Всем доброго времени суток. Скажите, пожалуйста, какие существуют платные аналоги Clickhouse? Я знаю про Oracle при использовании columnar store механизма хранения, доступного на Exadata Machine, а какие ещё есть?
источник

A

Andrey in ClickHouse не тормозит
Дмитрий
Всем доброго времени суток. Скажите, пожалуйста, какие существуют платные аналоги Clickhouse? Я знаю про Oracle при использовании columnar store механизма хранения, доступного на Exadata Machine, а какие ещё есть?
Vertica
источник

Д

Дмитрий in ClickHouse не тормозит
Andrey
Vertica
Спасибо за информацию
источник

A

Andrey in ClickHouse не тормозит
Дмитрий
Всем доброго времени суток. Скажите, пожалуйста, какие существуют платные аналоги Clickhouse? Я знаю про Oracle при использовании columnar store механизма хранения, доступного на Exadata Machine, а какие ещё есть?
еще иногда сравнивают с Redshift и BigQuery, но я не уверен что это тоже самое
источник

Д

Дмитрий in ClickHouse не тормозит
Хм, посмотрю в сторону этих продуктов
источник