Size: a a a

ClickHouse не тормозит

2020 September 18

<Zaur/> Abdulg... in ClickHouse не тормозит
спасибо 👍
источник

D

Dima in ClickHouse не тормозит
всем привет
При выгрузке в файл выгружается символ \N
С чем это может быть связано?
источник

D

Dj in ClickHouse не тормозит
Dima
всем привет
При выгрузке в файл выгружается символ \N
С чем это может быть связано?
Это Null вроде как
источник

D

Dima in ClickHouse не тормозит
да,колонка Nullale
А есть какае-то опция при выгрузке,что выгружался к примеру 0 (значение по умолчанию для int)?
источник

D

Dj in ClickHouse не тормозит
Dima
да,колонка Nullale
А есть какае-то опция при выгрузке,что выгружался к примеру 0 (значение по умолчанию для int)?
Можно в запросе кастнуть
источник

D

Dima in ClickHouse не тормозит
Табличка на 500 колонок и до пол млиона записей,нужно будет потестть на сколько в таком случае увеличтся время
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
как в базу записать большой файл с имеющимися данными (~700мб) ?
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
делаю так, но получаю ошибку что слишком много
источник

D

Dj in ClickHouse не тормозит
Dima
Табличка на 500 колонок и до пол млиона записей,нужно будет потестть на сколько в таком случае увеличтся время
незаметно. используете assumeNotNull
источник

D

Dj in ClickHouse не тормозит
Abdulgalimov
делаю так, но получаю ошибку что слишком много
много бит в байте? ) чего "много"
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
я думаю много партиций у человека
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
Dj
много бит в байте? ) чего "много"
18 млн строк, в строке 4 int столбца )
источник

D

Dj in ClickHouse не тормозит
ошибка то какая
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
Abdulgalimov
делаю так, но получаю ошибку что слишком много
задача из другой базы перенести в КХ.  Я записал в csv файлик где то 15000 записей, чтобы попробовать как в доке, но получил ошибку.
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
Received exception from server (version 20.8.3):
Code: 252. DB::Exception: Received from localhost:9000. DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc)..
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Abdulgalimov
задача из другой базы перенести в КХ.  Я записал в csv файлик где то 15000 записей, чтобы попробовать как в доке, но получил ошибку.
Too many partitions for single
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
я прям эекстрасенс
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
аа, кажется понял
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Abdulgalimov
Received exception from server (version 20.8.3):
Code: 252. DB::Exception: Received from localhost:9000. DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc)..
если быть честным то ошибка прямым текстом пишет в чем проблема и как ее решить...
источник

<Zaur/> Abdulg... in ClickHouse не тормозит
да я не сразу понял что такое partitions ))
источник