Size: a a a

ClickHouse не тормозит

2020 September 14

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Алексей
Добрый день.

Пробую мигрировать из мускула в кх, получаю следующее: в чем может быть ошибка ?


Code: 27. DB::Exception: Cannot parse input: expected '\n' before: '-09-10 18:14:53\n223085\t223085\t10634\t4534693\t2020-09-10 18:14:53\n223086\t223086\t10634\t5544841\t2020-09-10 18:14:53\n223087\t223087\t10634\t4527927\t2020-                       09-10 18:14:53\n': (at row 1)


или может есть какой то удобный инструмент миграции?)
колонок в файле больше чем ожидает insert
источник

А

Алексей in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
колонок в файле больше чем ожидает insert
спасибо.
источник

ES

Evegniy Skubeev in ClickHouse не тормозит
Подскажите, а есть полная документация по кодекам для сжатия данных? Нашел только 4е штуку, но уверен что их несколько больше, не могли бы подкинуть ссылку на полную документацию, или способ как их лучше искать (или их полное описание и аргументы)?

(наиболее полное нашел тут https://altinity.com/blog/2019/7/new-encodings-to-improve-clickhouse , но может есть где то в офф доке)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Evegniy Skubeev
Подскажите, а есть полная документация по кодекам для сжатия данных? Нашел только 4е штуку, но уверен что их несколько больше, не могли бы подкинуть ссылку на полную документацию, или способ как их лучше искать (или их полное описание и аргументы)?

(наиболее полное нашел тут https://altinity.com/blog/2019/7/new-encodings-to-improve-clickhouse , но может есть где то в офф доке)
Ну еще чутка есть в самой доке в описании MergeTree таблицы, ну и все в общем то
источник

ES

Evegniy Skubeev in ClickHouse не тормозит
Спасибо!
источник

DT

Dmitry Titov in ClickHouse не тормозит
еще было небольшое исследования DJ на тему кодека для таймштампа
источник

DT

Dmitry Titov in ClickHouse не тормозит
источник

GK

Gleb Kucherenko in ClickHouse не тормозит
Пытаюсь сделать запрос с вычислением промежуточных значений:
SELECT a, b, uniq(c) from test.rollup GROUP BY a, b WITH CUBE

могу ли я как-то считать промежуточные значения только по измерению a?
источник

И

Иван in ClickHouse не тормозит
когда-то давно проверяли какой кодек выбрать для таблиц, на собственных данных примерно такие результаты были
источник

И

Иван in ClickHouse не тормозит
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ZSTD 16? Все что больше ZSTD1 жрет cpu нереально для инсертов / мержей
источник

D

Dj in ClickHouse не тормозит
да, тормозит на вставку нереально (жрет то все тот же один поток, просто дольше)
источник

И

Иван in ClickHouse не тормозит
Ну здесь просто немного инфы для размышления, ни в коем случае не рекомендации
источник

D

Dj in ClickHouse не тормозит
вы измеряли разницу zstd1? разница будет не  на порядки
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Евгений Овчинников
Привет, подскажите где прописывать идентификационные данные для подключения к узлам clickhouse при использовании clickhouse-copier?

<Error> : virtual int DB::ClusterCopierApp::main(const std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > >&): Code: 516, e.displayText() = DB::Exception: Received from test01.local:9000. DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name.
прошу подсказать куда копать, уже час бьюсь с этой проблемой
источник

D

Dj in ClickHouse не тормозит
тут дисклеймер: тут случайные таймстемпы (т.е. не такой прям ровный таймсерис)
источник

И

Иван in ClickHouse не тормозит
тут очевидно какие данные
источник

ES

Evegniy Skubeev in ClickHouse не тормозит
Спасибо всем большое! Тут теперь мне есть куда мыслить, и что анализировать )
источник

DT

Dmitry Titov in ClickHouse не тормозит
Evegniy Skubeev
Спасибо всем большое! Тут теперь мне есть куда мыслить, и что анализировать )
Что тут думать, прыгать надо:)
На самом деле все сильно зависит от Partition KEY и  ORDER BY таблицы, плюс для определенных быстрых запросов, можно упереться в скорость декомпрессии.
Так что нужно пробовать и проверять разные комбинации кодеков
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Евгений Овчинников
Привет, подскажите где прописывать идентификационные данные для подключения к узлам clickhouse при использовании clickhouse-copier?

<Error> : virtual int DB::ClusterCopierApp::main(const std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > >&): Code: 516, e.displayText() = DB::Exception: Received from test01.local:9000. DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name.
точно также как remote servers?

<replica>
                       <host>127.0.0.1</host>
                       <port>9000</port>
                       <user> ...
                     <password> ....
                   </replica>
источник