Size: a a a

ClickHouse не тормозит

2020 August 27

YV

Yuri Velgosha in ClickHouse не тормозит
Николай
Шарды это что? Это в теге macros?
<yandex>
<remote_servers replace="1">
       <My_cluster>
               <shard>
                   <internal_replication>true</internal_replication>
                   <replica>
                       <host>clhs-001</host>
                       <port>9000</port>
                   </replica>
                   <replica>
                       <host>clhs-002</host>
                       <port>9000</port>
                   </replica>
               </shard>
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Ну и определение макроса тоже нужно в случае зукипера - он уникален для каждой реплики
<?xml version="1.0"?>
<yandex>

<macros replace="1">

   <layer>1</layer>
   <shard>1</shard>
   <replica>1</replica>

</macros>
</yandex>
источник

D

Dj in ClickHouse не тормозит
Добрый вечер, есть такая проблема.
Накопилось много партов и кончилось место на одной из реплик.
Есть необходимость дропнуть ненужные. Drop partition на этой реплике не делает ничего. Подозреваем, что дело в том что лидер другая.
Мерджи не происходят так как нет места. Замкнутый круг.
Можно как то отменить все репликации/мерджи и подропать что-то на обеих репликах?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
Добрый вечер, есть такая проблема.
Накопилось много партов и кончилось место на одной из реплик.
Есть необходимость дропнуть ненужные. Drop partition на этой реплике не делает ничего. Подозреваем, что дело в том что лидер другая.
Мерджи не происходят так как нет места. Замкнутый круг.
Можно как то отменить все репликации/мерджи и подропать что-то на обеих репликах?
Можно рестартнуть реплику на второй ноде и тогда лидером станет первая
источник

DT

Dmitry Titov in ClickHouse не тормозит
И да вы ждали после DROP PARTITION 8 минут то?
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
И да вы ждали после DROP PARTITION 8 минут то?
да уже час прошел )
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
да уже час прошел )
Вообще судя по описанию DROP PARTITION должен не только на лидере работать.
источник

D

Dj in ClickHouse не тормозит
тут же цикл... видимо он ждет пока все отреплицируется до конца
источник

DT

Dmitry Titov in ClickHouse не тормозит
Вообще был похожий случай, там решилось дело DROP TABLE на одной из реплик, но это тестовое окружение было..
источник

D

Dj in ClickHouse не тормозит
тут другое, как почистить все связанное с конкретной партицией везде
источник

D

Dj in ClickHouse не тормозит
не удаляет ничего
источник

DT

Dmitry Titov in ClickHouse не тормозит
А DETACH PARTITION работает?
источник

DT

Dmitry Titov in ClickHouse не тормозит
нужно выполнять на лидере
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
Добрый вечер, есть такая проблема.
Накопилось много партов и кончилось место на одной из реплик.
Есть необходимость дропнуть ненужные. Drop partition на этой реплике не делает ничего. Подозреваем, что дело в том что лидер другая.
Мерджи не происходят так как нет места. Замкнутый круг.
Можно как то отменить все репликации/мерджи и подропать что-то на обеих репликах?
drop partition не может ничего не делать если имя партиции правильно написано
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
drop partition не может ничего не делать если имя партиции правильно написано
тут правильно написано, что интересно, на реплике лидере папки потерлись все пусто.
на второй, куча папок на диске, ничто не дропнулось
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
нужно выполнять на лидере
как я понял по трейсу. он сам идет в лидер выполнять
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
тут правильно написано, что интересно, на реплике лидере папки потерлись все пусто.
на второй, куча папок на диске, ничто не дропнулось
по идее состав партов и партиций на репликах идентичен
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
не должно быть такого что на одной реплике есть партиция, а на другой нет
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
надо смотреть в лог
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и что в логе если делать drop partition снова?
источник