Size: a a a

ClickHouse не тормозит

2020 August 26

b

blkmrkt in ClickHouse не тормозит
а можно как-то закверить графитовые правила роллапа? А то я не уверен что они применились
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
blkmrkt
а можно как-то закверить графитовые правила роллапа? А то я не уверен что они применились
Применяются при рестарте.
И Кх не мержит старые партиции сам. Точнее шедулер мержей не знает что надо делать rollup, он просто исходит из обычного алгоритма мержей. Поэтому optimize
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
Добрый вечер, а вот у меня ReplacingMergeTree, и в нем указан и primary key на пару ключей, и ордер бай на ту же пару, а в таблице дупликаты. Optimize отрабатывает быстро и безрезультатно.
источник

b

blkmrkt in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Применяются при рестарте.
И Кх не мержит старые партиции сам. Точнее шедулер мержей не знает что надо делать rollup, он просто исходит из обычного алгоритма мержей. Поэтому optimize
Дело в том что я правила заимпортил вот так из отдельного файла, но не уверен есть ли от этого какой-то эффект:

<include_from>/home/user/var/clickhouse-server/rollup.xml</include_from>
<graphite_rollup incl="graphite_rollup" replace="replace"></graphite_rollup>


Вот и хочу спросить у запущенного сервера, какие у него там правила на конкретной таблице.
источник

b

blkmrkt in ClickHouse не тормозит
А так то я дефолтную ф-ю поменял с max на sum, так что это и так был мусор.
источник

b

blkmrkt in ClickHouse не тормозит
Внутри rollup.xml вот такое:

<yandex>
   <graphite_rollup>
       <pattern>
           ...
       </pattern>
       <pattern>
           ...
       </pattern>
       <default>
           ...
       </default>
   </graphite_rollup>
</yandex>
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
Zorro Zorroff
Добрый вечер, а вот у меня ReplacingMergeTree, и в нем указан и primary key на пару ключей, и ордер бай на ту же пару, а в таблице дупликаты. Optimize отрабатывает быстро и безрезультатно.
Что делать, должно ли быть так?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Zorro Zorroff
Добрый вечер, а вот у меня ReplacingMergeTree, и в нем указан и primary key на пару ключей, и ордер бай на ту же пару, а в таблице дупликаты. Optimize отрабатывает быстро и безрезультатно.
Ну primary key тут вообще не при делах, учитывается только orderby. Мержи идут только в рамках партиции. Схлопывания побочный продукт мержей.
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
партишн по дате. Дупликаты соответственно принадлежат к одной дате.
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
мержи идут во время инсерта? - не случились видать. Почему?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Zorro Zorroff
мержи идут во время инсерта? - не случились видать. Почему?
мержи случаются evetual, т.е. возможно никогда
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
инсерт подталкивает шедулер мержей проверить не пора ли мержить
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
и оптимайз подталкивает. Но не смержилось.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
шедулер мержей просыпается раз в 5 сек и проверяет не пора ли мержить
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
данные несмерженные много дней
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Zorro Zorroff
и оптимайз подталкивает. Но не смержилось.
сколько партов в партции?
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
селект возвращает 2 куска одинаковых, кусками.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Zorro Zorroff
данные несмерженные много дней
вот 300 партов в партиции это несмерженные парты, а дубликаты это не то
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Zorro Zorroff
селект возвращает 2 куска одинаковых, кусками.
where active!
источник

ZZ

Zorro Zorroff in ClickHouse не тормозит
ага...
источник