В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу
2021 January 29

S

Slach in ClickHouse не тормозит
Alexander
вопрос: я правильно понимаю что replicatedMT не имеет механизмов контроля ключа шарда (если он не random) ? т.е. если ты вставил не тот ключ, то уже можно его не найти? и вариант от этого застраховаться - вставлять только через distributed?
repllicated вообще ничего про шардирование не знает

но при селект из distributed эти данные найдутся нормально просто на том шарде который вставляли

ключ шардирования он только для записи
источник
16:48пожаловаться#1

VM

Vladimir Mihailenco in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
поставьте materialize_ttl_after_modify=0

Apply TTL for old data, after ALTER MODIFY TTL query. This behaviour is controlled by setting materialize_ttl_after_modify, which is enabled by default. #11042 (Anton Popov).
это уже нашел после того как все легло
но как понимаю для старых таблиц TTL не применится и придется месяц ждать пока начнет новый ТТЛ работать?
источник
16:48пожаловаться#2

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
почему не найти? мы же ищем во всех нодах по умолчанию
если сделал where по ключу - он пойдёт и в шарды где этого ключа не может быть?
источник
16:48пожаловаться#3

DM

Danila Migalin in ClickHouse не тормозит
оно ходит во все шарды разом
источник
16:48пожаловаться#4

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slach
repllicated вообще ничего про шардирование не знает

но при селект из distributed эти данные найдутся нормально просто на том шарде который вставляли

ключ шардирования он только для записи
есть
--optimize_skip_unused_shards arg                                Assumes that data is distributed by sharding_key. Optimization to skip unused shards if SELECT query filters by sharding_key.
источник
16:49пожаловаться#5

A

Alexander in ClickHouse не тормозит
ясно, теоретически мог бы и не ходить при where по ключу
источник
16:49пожаловаться#6

VF

Vladislav Filippov in ClickHouse не тормозит
Slach
проверьте как влияет рестарт сервера
если что, то придется переносить sql из metadata
стартовать без таблицы
и потом руками обратно исполнять ATTACH через clickhouse-client
да, уже сталкивался с таким. И так же делал)
источник
16:49пожаловаться#7

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
есть
--optimize_skip_unused_shards arg                                Assumes that data is distributed by sharding_key. Optimization to skip unused shards if SELECT query filters by sharding_key.
а вот как раз я об этом, что логично => потерять всё же возможно
источник
16:50пожаловаться#8

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladimir Mihailenco
это уже нашел после того как все легло
но как понимаю для старых таблиц TTL не применится и придется месяц ждать пока начнет новый ТТЛ работать?
нет, там раз в сутки TTL делается, или я не понял в чем вопрос
источник
16:50пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
а вот как раз я об этом, что логично => потерять всё же возможно
у меня вставлятор шардирует
но так как кластер меняется, расширяется то все равно
источник
16:50пожаловаться#10

VM

Vladimir Mihailenco in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нет, там раз в сутки TTL делается, или я не понял в чем вопрос
вопрос в том заработает ли новый TTL для старых уже существующих данные если не делать MATERIALIZE TTL
источник
16:51пожаловаться#11

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
у меня вставлятор шардирует
но так как кластер меняется, расширяется то все равно
да, понимаю, но для этого нужно быть уверенным во вставляторе, если он не ранд
источник
16:51пожаловаться#12

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
да, понимаю, но для этого нужно быть уверенным во вставляторе, если он не ранд
ну вот такой КХ нам дан. В чем вопрос непонятно, можно сделать вертику,  чтобы медленно втавлялось, зато будет гарантировано сегментировано, но вы же не хотите в 10 раз медленее инсерты и требования к сети типа 10гбит минимум
источник
16:53пожаловаться#13

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну вот такой КХ нам дан. В чем вопрос непонятно, можно сделать вертику,  чтобы медленно втавлялось, зато будет гарантировано сегментировано, но вы же не хотите в 10 раз медленее инсерты и требования к сети типа 10гбит минимум
вопрос был о том, есть ли контроль в RTM какой-то, даже судя по параметрам ясно что врядли, но решил уточнить
источник
16:54пожаловаться#14

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
вопрос был о том, есть ли контроль в RTM какой-то, даже судя по параметрам ясно что врядли, но решил уточнить
нет. Вообще КХ селекты должны использовать все шарды, поэтому ходим во все. Размазано по всем.
источник
16:54пожаловаться#15

A

Alexander in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нет. Вообще КХ селекты должны использовать все шарды, поэтому ходим во все. Размазано по всем.
выше ключ скинули что бы не во все ходило
источник
16:55пожаловаться#16

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexander
выше ключ скинули что бы не во все ходило
этот ключ сделали в spotify для своей очень специфической нужды, у них и проблемы скорее всего нет с тем что часть данных потеряется в select
источник
16:56пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
+есть такой ключ --skip_unavailable_shards arg                                    If 1, ClickHouse silently skips unavailable shards and nodes unresolvable through DNS. Shard is marked as unavailable when none of the replicas can be reached.
и даже я им пользуюсь в некоторых usecase
источник
16:57пожаловаться#18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Krisanov
а как она с внешними словарями сработает? будет ли видить инсерты в них, которые будут делаться в PG?
нет, не будет
источник
17:01пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey Beliy
Всем привет, а где-то можно найти с какой версии какие команды были введены?
https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md
GitHub
ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
источник
17:01пожаловаться#20