Size: a a a

ClickHouse не тормозит

2020 June 16

OS

Oleksiy Shevchenko in ClickHouse не тормозит
Парни, подскажите плиз, как обойти такой кейс?
From z
Left join x
ON x.date between z.date-2 and z.date+2
источник

RP

Roman Preobrazhensky in ClickHouse не тормозит
Oleksiy Shevchenko
Парни, подскажите плиз, как обойти такой кейс?
From z
Left join x
ON x.date between z.date-2 and z.date+2
Есть https://clickhouse.tech/docs/ru/sql-reference/statements/select/join/#asof-join-usage, но для него требуется еще ключ по точному совпадению, вроде как обязательно (но я сам asof join не пробовал в бою)
PS сам почитал внимательнее - там даже больше ограничений, например можно использовать только одно слабое условие
источник

N

Nikita in ClickHouse не тормозит
Подскажите, пожалуйста, правильно ли применять ALTER TABLE TTL к Distributed таблице?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita
Подскажите, пожалуйста, правильно ли применять ALTER TABLE TTL к Distributed таблице?
никак. Distributed таблица не хранит данные, это просто вью на кластер
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksiy Shevchenko
Парни, подскажите плиз, как обойти такой кейс?
From z
Left join x
ON x.date between z.date-2 and z.date+2
ну либо декартово произведение и отсекаем после, либо словарь range
источник

N

Nikita in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
никак. Distributed таблица не хранит данные, это просто вью на кластер
То есть, получается, нет способа изменить свойство TTL сразу у всех таблиц в кластере?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita
То есть, получается, нет способа изменить свойство TTL сразу у всех таблиц в кластере?
ээээ, ну вот есть у вас mergeTree* таблицы в кластере X1 которые называются T1
вы их меняете командой alter table T1 on cluster X1 add column
с TTL тоже самое alter table T1 on cluster X1 modify TTL (не в курсе про синтаксис TTL)
источник

N

Nikita in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ээээ, ну вот есть у вас mergeTree* таблицы в кластере X1 которые называются T1
вы их меняете командой alter table T1 on cluster X1 add column
с TTL тоже самое alter table T1 on cluster X1 modify TTL (не в курсе про синтаксис TTL)
Да, в том то и дело, что в документации вроде нет ON CLUSTER для TTL.
Для ADD COLUMN такое в документации есть
источник

OS

Oleksiy Shevchenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну либо декартово произведение и отсекаем после, либо словарь range
А декартовым по производительности наверно не очень будет?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita
Да, в том то и дело, что в документации вроде нет ON CLUSTER для TTL.
Для ADD COLUMN такое в документации есть
это баг в документации, нажмите карандаш и поправьте
источник

N

Nikita in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это баг в документации, нажмите карандаш и поправьте
Хорошо, спасибо за помощь
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksiy Shevchenko
А декартовым по производительности наверно не очень будет?
ну обычно это не проблема, просто сразу падает потому что памяти нужно 128TiB
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
пробуйте set aggregation_memory_efficient_merge_threads=1 , 2 ,  -- это кол-во потоков которые собирают финальный результат

а total вы сами задали? 10.55 ?
Спасибо, это действительно сработало (хоть и медленно =). Это значит, что у меня ошибка в конфиге, концептуальное непонимание или баг в КХ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Konstantin Malanchev
Спасибо, это действительно сработало (хоть и медленно =). Это значит, что у меня ошибка в конфиге, концептуальное непонимание или баг в КХ?
концептуальное непонимание
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Ну то есть я понимаю почему стало медленно, я не понимаю почему он столько памяти хотел
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
И как его попросить не хотеть столько памяти
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
DJ провел исследование и все разжевал тут в чатике все, размазано правда на несколько дней
источник

KM

Konstantin Malanchev in ClickHouse не тормозит
Пролетариат требует доклад на митапе или пост где-нибудь =)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
DJ сделайте gist пожалуйста
источник

AK

Andrew Kochen in ClickHouse не тормозит
пытаюсь настроить кластер КХ в докере
поднимаю зукипер и два кх в один шард

create table ... on cluster .. ENGINE = ReplicatedMergeTree(...) не работает - пишет
DB::Exception: DDL background thread is not initialized

В интернетах пишут, что это значит, что КХ не настроены на зукипер

Однако если отдельно с обоих хостов создать таблицу без on cluster, то все ок - и пути в зукипере есть , и репликация работает....
источник