Size: a a a

ClickHouse не тормозит

2020 May 17

S

Slach in ClickHouse не тормозит
Mimik Lamerger
Да вы правы скорее всего, только дока скудна на понимания... спасибо попробую поискать
ну скорее не дока скудна, скорее просто ваш базис знаний может быть недостаточным
вы знаете что такое LSM-Tree?
как он работает?
чем от B-Tree отличается?
источник

S

Slach in ClickHouse не тормозит
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Slach
ну скорее не дока скудна, скорее просто ваш базис знаний может быть недостаточным
вы знаете что такое LSM-Tree?
как он работает?
чем от B-Tree отличается?
увы нет
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Slach
ну скорее не дока скудна, скорее просто ваш базис знаний может быть недостаточным
вы знаете что такое LSM-Tree?
как он работает?
чем от B-Tree отличается?
кажется пора просвятится
источник

S

Slach in ClickHouse не тормозит
https://ru.wikipedia.org/wiki/LSM-дерево
https://ru.wikipedia.org/wiki/B-дерево

ну и погуглить

если кратко и на пальцах

то у clickhouse один PRIMARY INDEX
потому что когда clickhouse делает вставку он создает НОВЫЙ part
новый каталог прямо на диске
где все колонки это набор из .mrk (индекс) + .bin файла (сжатые сырые данные)
и есть primary.idx
очень грубо это key-value => значения полей primary index value == смещение внутри .bin файла колонок, где лежат данные для этого primary key

ну и поверх всего этого еще есть PARTITION (не путайте с parts)
дальше в фоне идет сортировка слиянием https://ru.wikipedia.org/wiki/Сортировка_слиянием), чтобы селекты со временем не превращались в бесконечный "grep" ;)

при чтении за счет эффективного хранения
1) идет выбор партиции (нескольких)
2) потом эта партиция (несколько в паралели) сканируется (читается и фильтруется через SSE) по колонкам тупо с диска (есть кеш uncompressed данных и кеш mrk файлов, но для понимания это не важно)
либо по primary index (поэтому туда помещаются низко кардинальные поля которые часто встречаются в запросах) либо по secondary key
либо как есть, разжимаем блок, прогоняем через CPU лишнее отфильтровываем
источник

T

Tony in ClickHouse не тормозит
Всем добрый вечер, подскажите, а вот кликхаус хранит словари в памяти и может их обновлять периодически. Но вопрос, а как собственно обновлять сами строки словаря? С помощью alter? Речь идет про движок таблиц DICTIONARY
источник

pk

papa karlo in ClickHouse не тормозит
а у вас источник данных для словаря какой
источник

M

Munir in ClickHouse не тормозит
Tony
Всем добрый вечер, подскажите, а вот кликхаус хранит словари в памяти и может их обновлять периодически. Но вопрос, а как собственно обновлять сами строки словаря? С помощью alter? Речь идет про движок таблиц DICTIONARY
Никак. Смысл словаря, что он обновляется, как вы указали при его создании целиком.
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Mimik Lamerger
кажется пора просвятится
Можно еще просвятиться лежа на диване с подборкой видосиков😁 https://www.youtube.com/playlist?list=PLAZrYP5W_atYAh7BRYv4I3cNZmMVEfF1w
источник

T

Tony in ClickHouse не тормозит
Немного непонятно тогда как обновлять словарь если данные постоянно приходят извне
источник

pk

papa karlo in ClickHouse не тормозит
куда приходят, в словарь?
источник

T

Tony in ClickHouse не тормозит
ну сейчас пока никак не приходят, но думаю как сделать решение с помощью словарей
источник

T

Tony in ClickHouse не тормозит
А суть такая, что есть данные, но некоторые int поля обновляются переодически
источник

T

Tony in ClickHouse не тормозит
так как данных много - есть потребность класть их к кликхаус, чтобы данные считать быстро
источник

T

Tony in ClickHouse не тормозит
вот думаю делать summing merge tree
источник

T

Tony in ClickHouse не тормозит
либо словари
источник

A

Andrey in ClickHouse не тормозит
Tony
А суть такая, что есть данные, но некоторые int поля обновляются переодически
Имена сущностей в словари, а сами данные в summing
источник

ML

Mimik Lamerger in ClickHouse не тормозит
огромный плюс вам в карму =)
источник

ML

Mimik Lamerger in ClickHouse не тормозит
всем спасибо буду поглощать инфу, на самом деле когда  много знаешь, много чем занимаешься и прям глобально глубоко копнуть бывает некогда чтобы структуировать все.
источник

ML

Mimik Lamerger in ClickHouse не тормозит
у меня стек просто огромный но за видосики прям спасибо постараюсь посмотреть и понять
источник