Size: a a a

ClickHouse не тормозит

2020 May 22

AT

Al T in ClickHouse не тормозит
io
Здравствуйте. Коллеги, подскажите. Когда планируется выкатка RBAC в прод?
да вроде уж там... в последних версиях 20.3 и в 20.4
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vadim Metikov
Вопрос к опытным товарищам,  можно ли изменить гранулярность данных процедурой detach/attach в новую таблицу?
нет
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Svyatoslav Khitrov
Здравствуйте!
может кто сталкивался, есть 3 ноды кликхауса, недавно кластер развалился
в логах вот такая ошибка на одной из нод
clickhouse <Error> Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/default//%2Einner%2Emetric.sql, error: zkutil::KeeperException: no node
причем, на этой ноде кликхаус идет в правильный зукипер свой
ATTACH TABLE .inner.metric
(
   entity_type String,
   entity_id String,
   metric_name String,
   sub_id String,
   Date Date,
   Time UInt32,
   Value Float64
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/metric', 'vms-clickhouse-2', Date, (entity_type, entity_id, metric_name, sub_id, Time), 8192)

как такое поправить?
Что такое "свой правильный зукипер"?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Anton Evseev
Всем привет! Собираемся переходить на Clickhouse,подскажите пожалуйста, как подсчитать кол-во нод, если данных нужно хранить 540 тб?
Никак не посчитать. Берете 5% заливаете в 5 серверов. Тестите скорость заливки запросов, меряете сжатие. Экстраполируете.
источник

И

Инк in ClickHouse не тормозит
Всем привет! Подскажите, как включить (установить в 1) параметр allow_drop_detached в system.settings? Что и куда надо прописать в config.xml? Сделать это запросом alter table так же не получается :(
источник

D

Dmitry in ClickHouse не тормозит
systemctl disable NetworkManager && systemctl stop NetworkManager
источник

SL

Sergey Lossev in ClickHouse не тормозит
Если по ошибке убить незаконченные мутации, это очень плохо?
KILL MUTATION WHERE NOT is_done
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Инк
Всем привет! Подскажите, как включить (установить в 1) параметр allow_drop_detached в system.settings? Что и куда надо прописать в config.xml? Сделать это запросом alter table так же не получается :(
это пользовательский параметр. Через set ....=1 в сессии либо в профиле пользователя в users.xml
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Доброго времени суток.
Во внешних словарях можно использовать Decimal для атрибутов? У меня что-то ругается
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Если по ошибке убить незаконченные мутации, это очень плохо?
KILL MUTATION WHERE NOT is_done
теперь когда alter делается через мутации -- непонятно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
Доброго времени суток.
Во внешних словарях можно использовать Decimal для атрибутов? У меня что-то ругается
Как? Какой кх? Какой source?
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Как? Какой кх? Какой source?
MySQL
<attribute>
  <name>discount</name>
  <type>Decimal(9,2)</type>
  <expression>discount</expression>
  <null_value></null_value>
</attribute>

Code
: 50, e.displayText() = DB::Exception: Unknown type Decimal(9,2) (version 19.15.3.6 (official build))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
MySQL
<attribute>
  <name>discount</name>
  <type>Decimal(9,2)</type>
  <expression>discount</expression>
  <null_value></null_value>
</attribute>

Code
: 50, e.displayText() = DB::Exception: Unknown type Decimal(9,2) (version 19.15.3.6 (official build))
А если Decimal64(2)
источник

И

Иван in ClickHouse не тормозит
У меня такой вопрос. Вот вводные:
1) была таблица она была создана давно (до апдейта на 19.17.6.36) и она используется до сих пор
2) обновили clickhouse до 19.17.6.36
3) все работает отлично с этой таблицей

Сама ситуация:
1) создаю точно такую же таблицу (беру DDL от нее и меняю только название)
2) делаю
ALTER TABLE test.test_1 ATTACH PARTITION ID '202005' FROM old_table
3) получаю ошибку  
Cannot replace partition '202005' because part '20200501_20200522_0_61560_25001' has inconsistent granularity with table

и еще вопрос:
1) создаю таблицу с ТОЧНО такими же настройками движка но в новом синтаксисе
2) таблица идентична предыдущим
3) пытаюсь приаттачить парт -
Tables have different format_version

Исходная таблица:
create table old_db.old_table
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
   engine = MergeTree(dt, (dt, ts), 8192);

Таблица в первом случае
create table test.test_1
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
engine = MergeTree(dt, (dt, ts), 8192);

Таблица во втором случае
create table test.test_1_1
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
ENGINE MergeTree()
PARTITION BY toYYYYMM(dt)
ORDER BY  (dt, ts)
SETTINGS index_granularity = 8192;
источник

И

Иван in ClickHouse не тормозит
ALTER TABLE test.test_1 ATTACH PARTITION ID '202005' FROM old_table;
ALTER TABLE test.test_1_1 ATTACH PARTITION ID '202005' FROM old_table;

Так партиции цеплял
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Иван
У меня такой вопрос. Вот вводные:
1) была таблица она была создана давно (до апдейта на 19.17.6.36) и она используется до сих пор
2) обновили clickhouse до 19.17.6.36
3) все работает отлично с этой таблицей

Сама ситуация:
1) создаю точно такую же таблицу (беру DDL от нее и меняю только название)
2) делаю
ALTER TABLE test.test_1 ATTACH PARTITION ID '202005' FROM old_table
3) получаю ошибку  
Cannot replace partition '202005' because part '20200501_20200522_0_61560_25001' has inconsistent granularity with table

и еще вопрос:
1) создаю таблицу с ТОЧНО такими же настройками движка но в новом синтаксисе
2) таблица идентична предыдущим
3) пытаюсь приаттачить парт -
Tables have different format_version

Исходная таблица:
create table old_db.old_table
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
   engine = MergeTree(dt, (dt, ts), 8192);

Таблица в первом случае
create table test.test_1
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
engine = MergeTree(dt, (dt, ts), 8192);

Таблица во втором случае
create table test.test_1_1
(
   dt Date,
   ts DateTime,
   finished UInt8,
   created DateTime
)
ENGINE MergeTree()
PARTITION BY toYYYYMM(dt)
ORDER BY  (dt, ts)
SETTINGS index_granularity = 8192;
Для первого случая надо включить index_granularity_bytes=0 через config.xml в секции merge_tree.
Второй и не должен работать.

Старый формат партиционирования таблиц устарел в 2017.
источник

SC

Smoked Cheese in ClickHouse не тормозит
ORDER BY во втором случае лучше без скобочек
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Smoked Cheese
ORDER BY во втором случае лучше без скобочек
нет
источник

SC

Smoked Cheese in ClickHouse не тормозит
разве там tuple() не будет? или раньше было tuple()?
источник

SC

Smoked Cheese in ClickHouse не тормозит
простите, туплю
источник