Size: a a a

ClickHouse не тормозит

2016 November 17

e

er@essbase.ru in ClickHouse не тормозит
Alexey Milovidov
У нас есть наработки на эту тему: квоты, max_memory_usage_for_user, max_threads, priority, max_execution_time, min_execution_speed, force_primary_key и т. п.

И постоянно нужно больше способов что-нибудь как-нибудь ограничивать.

У нас приоритизация запросов от разных видов пользователей - очень актуальная проблема.

Вплоть до того, что хочется определять, что если запрос задан по крону или в бесконечном цикле из скрипта, то лучше его выполнять не особо при этом торопясь. Но такого не сделано.
Кеш для однотипных запросов ?
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Нету. А было бы полезно. Возможно реализовать кэширование на уровне промежуточных данных в конвейере выполнения запроса - если часть запроса отличается, а часть вычислений совпадает.
источник
2016 November 18

АК

Андрей Михайлович Корниенко in ClickHouse не тормозит
Ну, раз вы переписываетесь до полуночи, всем этим плюшкам уже пора быть. Столько продуктивного времени!
источник

DV

Dmitry Volodin in ClickHouse не тормозит
Может быть стоит вынести этот функционал в отдельный менеджер транзакций?
источник

VS

Vladislav 👻 Shishkov in ClickHouse не тормозит
Алексей Константинов
очередь тоже забавная штука. есть аналитики, у них есть Вася, который любит слать огромные запросы. все под одним юзером. вот Вася шлет запрос, он занимает место в конкуренте, другие аналитики занимают свои места. Вася устал ждать и еще раз шлет запрос, а потом еще раз :)
Странный Вася аналитик, если он фанат "устал ждать и шлет еще раз"
источник

NK

ID:105110079 in ClickHouse не тормозит
https://clickhouse.yandex/reference_en.html#Native I do not understand the port of the docs. for example I have 1 row data in a table with 8 columns. clickhouse will store all columns in one block?
источник

NK

ID:105110079 in ClickHouse не тормозит
or split 8 columns to 4 blocks
источник

NK

ID:105110079 in ClickHouse не тормозит
can anyone help me?
источник

VL

Vitaliy Lyudvichenko in ClickHouse не тормозит
In described case a single block containing all 8 columns will be created. Block will contain a header (number of rows and colum datatypes info) and columns' data (data fo 1st column, for 2nd and so on ...). Since you have only one row, data of each column will contain single  element (Int, String ...)
источник

NK

ID:105110079 in ClickHouse не тормозит
Thank you
источник

VL

Vitaliy Lyudvichenko in ClickHouse не тормозит
Worth noting that big table will be stored as set of blocks with the same structure, but their length (i.e. number of rows) could vary
источник

NK

ID:105110079 in ClickHouse не тормозит
How to determine the number of columns and the number of rows should be put in a block?
I found the block size in the config file,but do not know how to balance the number of columns and number of rows in a block.
If I save million rows data in table,then what is the struct of the block
источник

VL

Vitaliy Lyudvichenko in ClickHouse не тормозит
Could you describe your task more preciesly? Columns are determined by structure of your data (schema). ClickHouse engine try automatically choose optimal length of blocks inside own internal pipelines, but you can adjust it via max_block_size max_insert_block_size config parameters.
Optimal values of these parameters is determined by particular task. The best strategy to choose them is to test performance of your use case on different parameters set.
источник

NK

ID:105110079 in ClickHouse не тормозит
https://gist.github.com/sunisdown/5901db41db8d5aaacf05432a6274db58 I have 49 columns like this, I want to know the struct of block, and why.
😊
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Why do you need that?
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Actually, your structure do not affect blocks size
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Block size is internal thing and decided according to performance reasons
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
By default it's 8192 and it's best for most cases
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Ah, sorry, it's 65536
источник

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Do you have any performance interest in that?
источник