Size: a a a

ClickHouse не тормозит

2020 September 20

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Maxim Bogdanov
Немного по внутрям КХ. А кто-нибудь знает, какой процесс у мерджа двух партов, если, например, в каждой по 100 колонок? Это получается, что открывается 200 дескрипторов и они читают как-то все колонки с начала до конца? Они это как-то должны делать паралельно/последовательно, но главное, что все должны читать с начала и до конца, имея общий курсор. Я думаю на таком даже nvme призадумается, но поскольку всё хорошо работает и на sata, возможно я неправильно понимаю принцип.
вертикальный мерж для таблиц с кол-вом колонок больше 11.

https://groups.google.com/g/clickhouse/c/8BykVB1fWB4/m/e3frUTmtAAAJ?pli=1
источник

M

Maxim Bogdanov in ClickHouse не тормозит
круто, я оказывается придумал вертикальный мердж, который уже придуман 🙂
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
опа

Облачная СУБД Snowflake провела суперуспешное IPO, сейчас стартап стоит 66 миллиардов долларов. Snowflake стал дороже Uber (чуть-чуть), General Motors (в полтора раза) и Beyond Meat (в 7 раз)
источник

D

Denisio in ClickHouse не тормозит
ого
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
опа

Облачная СУБД Snowflake провела суперуспешное IPO, сейчас стартап стоит 66 миллиардов долларов. Snowflake стал дороже Uber (чуть-чуть), General Motors (в полтора раза) и Beyond Meat (в 7 раз)
все, бросаем все, и пилим транзакции и автошардинг в КХ, раскручиваем, делаем ИПО, пока пузырь не сдули =)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
я думаю когда допилят в КХ S3, это будет уже рукой подать до Snowflake
источник

Н

Николай in ClickHouse не тормозит
Нет времени объяснять. Пилим автошардинг
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
транзакции не особо важны

КМК в Snowflake там же не то чтобы авторшардинг, там данные на S3 лежат, а ноды себе куски забирают при выполнении запроса и кешируют
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
транзакции не особо важны

КМК в Snowflake там же не то чтобы авторшардинг, там данные на S3 лежат, а ноды себе куски забирают при выполнении запроса и кешируют
в принципе да, ну ещё инфра, и совместимость со snowlake (пользователей забирать) :)
источник

D

Dj in ClickHouse не тормозит
все, нет времени на раскачку =)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Николай
Нет времени объяснять. Пилим автошардинг
Уже пилят атомарное перемещение кусков вроде)
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Уже пилят атомарное перемещение кусков вроде)
CTE ишо...
источник

D

Dj in ClickHouse не тормозит
ну и window functions =)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
какой CTE ?  тупая inline подстановка запроса из with
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
какой CTE ?  тупая inline подстановка запроса из with
я имел ввиду, что СТЕ нужен, без СТЕ не взлетит...
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
аа
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник

DT

Dmitry Titov in ClickHouse не тормозит
Уже даже замержили, ого
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
вот интересно, в оракле хинтами легко with xxx as select /*+materialize*/ получаем временную таблицу xxx, а не подстановку в запрос, в PG как оно? синтаксис особый или вообще никак?
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вот интересно, в оракле хинтами легко with xxx as select /*+materialize*/ получаем временную таблицу xxx, а не подстановку в запрос, в PG как оно? синтаксис особый или вообще никак?
насколько мы в ГП разбирались - никак (а это по сути тоже ПГ)
да, в оракле это очень помогает по жизни писать 5 страничные запросы с промежуточным сохранением )
источник