Size: a a a

ClickHouse не тормозит

2020 September 11

A

Anton Kovalenko in ClickHouse не тормозит
Dj
вах, как я это раньше не видел...  это вообще шикарный контент... нужно срочно на английском такой...
Ты чего задумал? ))
источник

D

Dj in ClickHouse не тормозит
Anton Kovalenko
Ты чего задумал? ))
Внутри ссылку дать прогерам, чтоб знали. А то шишки набивают
источник

EB

Egor Baklach in ClickHouse не тормозит
Доброго. Только знакомлюсь с КХ. Необходима реализация хранения уникальных значений. Сейчас есть табличка MySql на 177 миллионов значений, id: BIGINT и value: VARCHAR(255), ее пополняю новыми и через ON DUPLICATE KEY проверяю по ключу индекса на существование, в случае совпадения пропускаю - поэтому из одного запроса на 5000 записей в табличку попадают только 3555 к примеру. MySql действительно сейчас все тяжелей и дольше начинает с ней работать. Решит ли эту задачу КХ? Как можно реализовать ее пополнение проверяя наличие совпадений в табличке?
источник

EB

Egor Baklach in ClickHouse не тормозит
Спасибо!
источник

EB

Egor Baklach in ClickHouse не тормозит
Использовать горизонтальное шардирование? но тогда боюсь будет дольше и избыточно добавлять проверку на совпадения. И даже в этом случае КХ малую роль в этом сыграет
источник

SC

Smoked Cheese in ClickHouse не тормозит
Проверки на совпадения в кх нет и не будет, это сильно замедляет вставку. Есть дедуплицирующие движки вроде ReplacingMergeTree и CollapsingMergeTree, но они убирают дубликаты сильно eventually, надо строить запросы с учётом этого.
источник

SC

Smoked Cheese in ClickHouse не тормозит
А читаете из таблички часто?
источник

EB

Egor Baklach in ClickHouse не тормозит
нет
источник

EB

Egor Baklach in ClickHouse не тормозит
она существует только проверки на дубли
источник

SC

Smoked Cheese in ClickHouse не тормозит
Ну тогда кх для этого не очень подойдёт, посмотрите на какую-нибудь key-value бд типа кассандры/редиса/что там ещё
источник

EB

Egor Baklach in ClickHouse не тормозит
спасибо!
источник

EB

Egor Baklach in ClickHouse не тормозит
Smoked Cheese
Ну тогда кх для этого не очень подойдёт, посмотрите на какую-нибудь key-value бд типа кассандры/редиса/что там ещё
mongoDB подойдет?
источник

SC

Smoked Cheese in ClickHouse не тормозит
Egor Baklach
mongoDB подойдет?
Не знаю, но чем оно лучше мускуля?
источник

EB

Egor Baklach in ClickHouse не тормозит
тоже key-value
источник

SC

Smoked Cheese in ClickHouse не тормозит
На самом деле нет
источник

EB

Egor Baklach in ClickHouse не тормозит
понял
источник

kp

krn p in ClickHouse не тормозит
рибята, а если в словаре ключи не уникальны, то возвращается только первый подходящий элемент ?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
krn p
рибята, а если в словаре ключи не уникальны, то возвращается только первый подходящий элемент ?
Сам словарь строится в памяти без дублей. Скорее всего в словаре будет последний ключ
источник

kp

krn p in ClickHouse не тормозит
Дмитрий Бережнов
Сам словарь строится в памяти без дублей. Скорее всего в словаре будет последний ключ
понял, пасиба.
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Объясните, пожалуйста, почемв для запроса Date=3 будут зачески с 1 по 10
источник