Size: a a a

ClickHouse не тормозит

2020 September 08

A

Alex in ClickHouse не тормозит
подскажите плз, торможу уже полдня ((( создаю словарь, источник - DDL, загружаю его, все ОК. Читать данные из него тоже получается, но ТОЛЬКО с указанием и имени словаря и имени БД, то есть select dictGet('db.dict', 'code', id)... работает, а select dictGet('dict', 'code', id)... - не видит словарь. но везде (и в документации тоже) не требуется указание базы данных, даже в том же запросе select dictGet('db.dict', 'code', id) from table - не нужно писать from db.table ((( что я не понимаю, как обойтись без прямого указания БД?
источник

A

Artem in ClickHouse не тормозит
Arsen
Да
Тогда это не будет проблемой, наверное. Тут либо забить и хранить все строками, поэкспериментировать с алгоритмом сжатия для колонки (в первую очередь попробовать ZSTD), LowCardinality не поможет. Либо, возможно, попробовать применить хеш-функцию перед вставкой.
источник

A

Arsen in ClickHouse не тормозит
Artem
Тогда это не будет проблемой, наверное. Тут либо забить и хранить все строками, поэкспериментировать с алгоритмом сжатия для колонки (в первую очередь попробовать ZSTD), LowCardinality не поможет. Либо, возможно, попробовать применить хеш-функцию перед вставкой.
Думаю сделать копию таблицы, но со стрингой вместо uuid и потестить
источник

A

Arsen in ClickHouse не тормозит
а вставка в формате LowCardinality вместо String сильно замедлит работу скрипта, если не async?
источник

НБ

Никита Бафометович... in ClickHouse не тормозит
Привет друзья.
Такой вопрос, можно ли поменять движок таблицы в которой уже есть данные или придется сносить таблицу и все поновой создавать?
источник

kp

krn p in ClickHouse не тормозит
Alex
подскажите плз, торможу уже полдня ((( создаю словарь, источник - DDL, загружаю его, все ОК. Читать данные из него тоже получается, но ТОЛЬКО с указанием и имени словаря и имени БД, то есть select dictGet('db.dict', 'code', id)... работает, а select dictGet('dict', 'code', id)... - не видит словарь. но везде (и в документации тоже) не требуется указание базы данных, даже в том же запросе select dictGet('db.dict', 'code', id) from table - не нужно писать from db.table ((( что я не понимаю, как обойтись без прямого указания БД?
чем читаете?  может нужно установить дефолтную базу ? по умолчанию вроде база как раз c именем default, а это, надо думать, не ваша база
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Никита Бафометович
Привет друзья.
Такой вопрос, можно ли поменять движок таблицы в которой уже есть данные или придется сносить таблицу и все поновой создавать?
смотря с чего на чего, часть sql после engine
источник

A

Alex in ClickHouse не тормозит
да, это не моя база. я устанавливаю дефолтную базу (она и прописывается для словаря в system.dictionaries), создаю словарь, и... все ОК. но обратиться к нему могу ТОЛЬКО если укажу эту самую дефолтную БД (((
источник

НБ

Никита Бафометович... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
смотря с чего на чего, часть sql после engine
C MergTree на CollapsingMergeTree
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alex
да, это не моя база. я устанавливаю дефолтную базу (она и прописывается для словаря в system.dictionaries), создаю словарь, и... все ОК. но обратиться к нему могу ТОЛЬКО если укажу эту самую дефолтную БД (((
Да нужно базу указывать. Так автор новых словарей решил
источник

A

Artem in ClickHouse не тормозит
Arsen
а вставка в формате LowCardinality вместо String сильно замедлит работу скрипта, если не async?
LowCardinality на 30 млн не поможет.
источник

A

Alex in ClickHouse не тормозит
а в 19и версии - еще Не надо?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Никита Бафометович
C MergTree на CollapsingMergeTree
С секциями order parti...
источник

A

Arsen in ClickHouse не тормозит
Artem
LowCardinality на 30 млн не поможет.
Таблица на 50 ярдов строк
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alex
а в 19и версии - еще Не надо?
Там словари через xml , они не в базе
источник

A

Alex in ClickHouse не тормозит
да, это так. все понял, СПАСИБО!!!
источник

НБ

Никита Бафометович... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
С секциями order parti...
ORDER BY (user_id, timestamp) TTL timestamp + INTERVAL 31 DAY SETTINGS index_granularity = 8192`
источник

A

Artem in ClickHouse не тормозит
Arsen
Таблица на 50 ярдов строк
У меня на 2 млрд. и 6 млн. уникальных значений LowCardinality вместе с ZSTD давало хуже сжатие, чем без LowCardinality.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alex
да, это так. все понял, СПАСИБО!!!
Фактичски команда dictget так отличает какой словарь вызвали xml или не xml
источник

A

Arsen in ClickHouse не тормозит
Artem
У меня на 2 млрд. и 6 млн. уникальных значений LowCardinality вместе с ZSTD давало хуже сжатие, чем без LowCardinality.
Понял. Ну тут вопрос не только в сжатии, а еще в скорости вставки всего этого)
источник