Size: a a a

ClickHouse не тормозит

2020 May 28

SM

Sergey Mc in ClickHouse не тормозит
lnuynxa
если ты будешь писать в WHERE  условие по partition key сработает partition elimination и он пойдет глядеть только нужные партиции
вот это уже хорошо
источник

SM

Sergey Mc in ClickHouse не тормозит
может в prewhere условие по партиции?
источник

l

lnuynxa in ClickHouse не тормозит
Sergey Mc
вот это уже хорошо
но нужно проверить, что бы оно сработало (бывает люди криво пишут в запросе и кликхаус не понимает)
источник

l

lnuynxa in ClickHouse не тормозит
Sergey Mc
может в prewhere условие по партиции?
оно само обычно двигает в PREWHERE, но можно попробовать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
для partition elimination и колонок в индексе нет разницы where или prewhere
источник

SM

Sergey Mc in ClickHouse не тормозит
т.е. например, правильно я понимаю, что допустим делаем 1 партиция = 1 сутки и запросы делаем  по суткам?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
если писать prewhere вручную -- это отключает optimize_move_to_prehwere
источник

A

Andrey in ClickHouse не тормозит
Ребят, а это нормальное поведение что CREATE TABLE tbl AS remote(....), не создает локальную таблицу такой же структуры, а делает что-то вроде линка на таблицу на другом севере. Т.е. локально данные не хранятся и insert направляются тоже на удаленный сервер..
источник

l

lnuynxa in ClickHouse не тормозит
Andrey
Ребят, а это нормальное поведение что CREATE TABLE tbl AS remote(....), не создает локальную таблицу такой же структуры, а делает что-то вроде линка на таблицу на другом севере. Т.е. локально данные не хранятся и insert направляются тоже на удаленный сервер..
а если написать ручками движок? ENGINE=MergeTree()?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Ребят, а это нормальное поведение что CREATE TABLE tbl AS remote(....), не создает локальную таблицу такой же структуры, а делает что-то вроде линка на таблицу на другом севере. Т.е. локально данные не хранятся и insert направляются тоже на удаленный сервер..
и что показывает show create table tbl ?
источник

l

lnuynxa in ClickHouse не тормозит
Sergey Mc
т.е. например, правильно я понимаю, что допустим делаем 1 партиция = 1 сутки и запросы делаем  по суткам?
допустим если вам данные нужны за месяц, то особого ускорения от выполнения 30 запросов за каждый день ждать не стоит.
Все зависит от запросов.
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и что показывает show create table tbl ?
SHOW CREATE TABLE tbl

┌─statement───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE tbl AS remote('host', 'schema', 'tbl', 'login', 'password') │
└─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
источник

A

Andrey in ClickHouse не тормозит
lnuynxa
а если написать ручками движок? ENGINE=MergeTree()?
ошибку синтаксиса дает
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
SHOW CREATE TABLE tbl

┌─statement───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE tbl AS remote('host', 'schema', 'tbl', 'login', 'password') │
└─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
круто, я не знал что это возможно.
источник

A

Andrey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
круто, я не знал что это возможно.
Оно конечно удобно когда знаешь, но выглядит как баг)
Ожидается что он сходит на удаленный хост, сделает describe и создаст точно такую же таблицу.

Или я ожидаю не того?
источник

R

Renat in ClickHouse не тормозит
привет всем : ) вопрос по движку CollapsingMergeTree.
кто знает, есть здесь возможность агрегировать строковые и временные поля?
(по числам всё понятно, в документации хорошо описано.)

конкретная задача - достать последнее актуальное состояние для каждой записи, у которой меняется, например, поле даты.
т.е. идет группировка по ключу, нужно вытащить актуальное значение даты. в этом сложность.

про FINAL знаю. может, есть еще варианты.
источник

OM

Oleksii Mylotskyi in ClickHouse не тормозит
А подскажите а где в конфигах нужно прописать insert_distributed_sync чтобы вставлять синхронно в дистрибьютед ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey
Оно конечно удобно когда знаешь, но выглядит как баг)
Ожидается что он сходит на удаленный хост, сделает describe и создаст точно такую же таблицу.

Или я ожидаю не того?
не знаю, возможно, откройте issue -- unexpected behavior
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksii Mylotskyi
А подскажите а где в конфигах нужно прописать insert_distributed_sync чтобы вставлять синхронно в дистрибьютед ?
в профиле пользователя
источник

l

lnuynxa in ClickHouse не тормозит
Renat
привет всем : ) вопрос по движку CollapsingMergeTree.
кто знает, есть здесь возможность агрегировать строковые и временные поля?
(по числам всё понятно, в документации хорошо описано.)

конкретная задача - достать последнее актуальное состояние для каждой записи, у которой меняется, например, поле даты.
т.е. идет группировка по ключу, нужно вытащить актуальное значение даты. в этом сложность.

про FINAL знаю. может, есть еще варианты.
ну возможно, можно сделать GROUP BY по всем-всем  полям и оставить только те записи где HAVING sum(Sign) > 0 но выглядит криво
источник