Size: a a a

ClickHouse не тормозит

2020 July 09

M

Melchizedek in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а просто select count() from t без джойна детерминированный?

а таблицы шардированы одинаково ? не понимаю как у вас джойн получается, вы double_distributed включили?
Просто count(1) из таблиц - детерминирован.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Melchizedek
Просто count(1) из таблиц - детерминирован.
если "join" поменять на "global join"
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
select * from system.merge_tree_settings where name = 'index_granularity_bytes'
SELECT *
FROM system.merge_tree_settings
WHERE name = 'index_granularity_bytes'

┌─name────────────────────┬─value────┬─changed─┬─description───────────────────────────────────────────────────┐
│ index_granularity_bytes │ 10485760 │       0 │ Approximate amount of bytes in single granule (0 - disabled). │
└─────────────────────────┴──────────┴─────────┴───────────────────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.002 sec.
источник

M

Melchizedek in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если "join" поменять на "global join"
источник

M

Melchizedek in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а просто select count() from t без джойна детерминированный?

а таблицы шардированы одинаково ? не понимаю как у вас джойн получается, вы double_distributed включили?
>вы double_distributed включили?
Если правильно вопрос понял, то нет
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
SELECT *
FROM system.merge_tree_settings
WHERE name = 'index_granularity_bytes'

┌─name────────────────────┬─value────┬─changed─┬─description───────────────────────────────────────────────────┐
│ index_granularity_bytes │ 10485760 │       0 │ Approximate amount of bytes in single granule (0 - disabled). │
└─────────────────────────┴──────────┴─────────┴───────────────────────────────────────────────────────────────┘

1 rows in set. Elapsed: 0.002 sec.
вот тикет очень похожий

https://github.com/ClickHouse/ClickHouse/issues/10098

но там проблема в том что зк уже  была таблица и в ее таблицы metadata в zk не было index_granularity_bytes
а реплика создавала в своей ветке в metadata с index_granularity_bytes
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вот тикет очень похожий

https://github.com/ClickHouse/ClickHouse/issues/10098

но там проблема в том что зк уже  была таблица и в ее таблицы metadata в zk не было index_granularity_bytes
а реплика создавала в своей ветке в metadata с index_granularity_bytes
Хм, а у нас наоборот. Может в этой системной таблице выставить 0?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Melchizedek
>вы double_distributed включили?
Если правильно вопрос понял, то нет
тогда вообще не понятно почему такой запрос работает, в предыдущих версиях КХ он падал с ошибкой.
у вас таблицы джойнятся локально, а шардированы они по разному
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
Хм, а у нас наоборот. Может в этой системной таблице выставить 0?
чего наоборот? вы говорите что ЗК чистите
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
чего наоборот? вы говорите что ЗК чистите
А, ну да. Криво прочитал.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
А, ну да. Криво прочитал.
вы чистите вообще все про эту таблицу? или только в ветку replicas ?
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы чистите вообще все про эту таблицу? или только в ветку replicas ?
весь датадир зк
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
весь датадир зк
а зк сервер у вас один? Может он при рестарте восстанавлиется из другого зк ?
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а зк сервер у вас один? Может он при рестарте восстанавлиется из другого зк ?
три штуки, на всех чищу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
три штуки, на всех чищу
я создаю таблицу

/clickhouse/test/tables/dim_test', '1',

select * from system.zookeeper where path = '/clickhouse/test/tables/dim_test'

metadata format version: 1 date column: d sampling expression:  index granularity: 8192 mode: 5 sign column:  primary key: o granularity bytes: 10485760

select * from system.zookeeper where path = '/clickhouse/test/tables/dim_test/replicas/1/'

metadata format version: 1 date column: d sampling expression:  index granularity: 8192 mode: 5 sign column:  primary key: o granularity bytes: 10485760

получается одинаковая metadata, у вас разная? в таблице и в replicas ?
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я создаю таблицу

/clickhouse/test/tables/dim_test', '1',

select * from system.zookeeper where path = '/clickhouse/test/tables/dim_test'

metadata format version: 1 date column: d sampling expression:  index granularity: 8192 mode: 5 sign column:  primary key: o granularity bytes: 10485760

select * from system.zookeeper where path = '/clickhouse/test/tables/dim_test/replicas/1/'

metadata format version: 1 date column: d sampling expression:  index granularity: 8192 mode: 5 sign column:  primary key: o granularity bytes: 10485760

получается одинаковая metadata, у вас разная? в таблице и в replicas ?
granularity bytes совпадает как минимум
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
granularity bytes совпадает как минимум
загадка, попробуйте отключить, поставить в confix.xml

   <merge_tree>
       <index_granularity_bytes>0</index_granularity_bytes>
   </merge_tree>

и потом создавать таблицу
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
загадка, попробуйте отключить, поставить в confix.xml

   <merge_tree>
       <index_granularity_bytes>0</index_granularity_bytes>
   </merge_tree>

и потом создавать таблицу
пробую
источник

АК

Антон Куляшов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
загадка, попробуйте отключить, поставить в confix.xml

   <merge_tree>
       <index_granularity_bytes>0</index_granularity_bytes>
   </merge_tree>

и потом создавать таблицу
Когда добавляю такое поле, получаю ошибку
error: DB::Exception: Suspiciously many (15) broken parts to remove.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Антон Куляшов
Когда добавляю такое поле, получаю ошибку
error: DB::Exception: Suspiciously many (15) broken parts to remove.
про какую таблицу? про базу system ?
источник