Size: a a a

ClickHouse не тормозит

2020 July 23

P

Pavel in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
доку почитайте это вообще не первичный ключ
пойду RTFM заниматься
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Pavel
Ну как я понимаю все-равно ключик в ReplacingMergeTree() вида ReplacingMergeTree(event_time) надо делать?
ReplacingMergeTree схлопывает по ключу сортировки
event_time — в вашем случае это “ver” коллонка. Она необязательна
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
покажите sar -d 1 10 с лидера
12:37:26          DEV       tps     rkB/s     wkB/s   areq-sz    aqu-sz     await     svctm     %util
12:37:27      dev8-16    142.00      0.00   1388.00      9.77      0.94      6.59      6.59     93.60
12:37:27       dev8-0    142.00      0.00   1388.00      9.77      0.93      6.56      6.56     93.20
12:37:27       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
12:37:27       dev9-1    333.00      0.00   1396.00      4.19      0.00      0.00      0.00      0.00
12:37:27     dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
12:37:27     dev253-1    287.00      0.00   1396.00      4.86      1.66      5.76      3.48    100.00
источник

О

Олег in ClickHouse не тормозит
Коллеги, создал таблицу с движком ReplicatedMergeTree
Потом удалил ее DDL запросом drop table.
Потом захотел опять ее создать тем же запросом и он ругается: replica already exists.

Полистал историю чата, много кто с этим сталкивался и чет никому никто не ответил.
Как мне удалить записи о репликах из zookeeper?
источник

K

Kid in ClickHouse не тормозит
Олег
Коллеги, создал таблицу с движком ReplicatedMergeTree
Потом удалил ее DDL запросом drop table.
Потом захотел опять ее создать тем же запросом и он ругается: replica already exists.

Полистал историю чата, много кто с этим сталкивался и чет никому никто не ответил.
Как мне удалить записи о репликах из zookeeper?
Мб зайти в зукипер и там дропнуть директории?
источник

О

Олег in ClickHouse не тормозит
Kid
Мб зайти в зукипер и там дропнуть директории?
я попробую но кажется у меня туда доступов никаких нет. Если это единственный вариант, то буду пытаться
источник

K

Kid in ClickHouse не тормозит
Олег
я попробую но кажется у меня туда доступов никаких нет. Если это единственный вариант, то буду пытаться
К сожалению, я не знаю. Как вариант мб и сработает, но я тоже с таким сталкивался
Решил просто заменой названия пути реплики
Вроде говорилось о том, что их должны будут заменить на набор символов. Помнится мне так кто-то отвечал
источник

О

Олег in ClickHouse не тормозит
я пока тоже так обошел проблему. Но почему-то раньше я спокойно дропал таблицы и создавал их, и подобных проблем не было :(
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
12:37:26          DEV       tps     rkB/s     wkB/s   areq-sz    aqu-sz     await     svctm     %util
12:37:27      dev8-16    142.00      0.00   1388.00      9.77      0.94      6.59      6.59     93.60
12:37:27       dev8-0    142.00      0.00   1388.00      9.77      0.93      6.56      6.56     93.20
12:37:27       dev9-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
12:37:27       dev9-1    333.00      0.00   1396.00      4.19      0.00      0.00      0.00      0.00
12:37:27     dev253-0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
12:37:27     dev253-1    287.00      0.00   1396.00      4.86      1.66      5.76      3.48    100.00
попробуйте в конфиге зк
snapCount=1000000

в этом случае ЗК будет создавть снешот на каждые 1000000+-50% транзакций
источник

AK

Andrew Kochen in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нельзя восстановить. А что случилось? Диск побился?
Вот не знаю, к сожалению. Пришел - а тут такое. На двух таблицах, одна из них - system.query_log.
Надеюсь, не баг, а диск реально побился..
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Олег
Коллеги, создал таблицу с движком ReplicatedMergeTree
Потом удалил ее DDL запросом drop table.
Потом захотел опять ее создать тем же запросом и он ругается: replica already exists.

Полистал историю чата, много кто с этим сталкивался и чет никому никто не ответил.
Как мне удалить записи о репликах из zookeeper?
вы создали таблицу на одной реплике?
источник

О

Олег in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы создали таблицу на одной реплике?
нет я создавал ее на трех, ну с помощью ON CLUSTER ..., если я правильно вас понял)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Олег
нет я создавал ее на трех, ну с помощью ON CLUSTER ..., если я правильно вас понял)
так и дропать надо на 3 такой же командой on cluster
источник

О

Олег in ClickHouse не тормозит
так и делал)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Олег
так и делал)
надо читать лог дропа, я создаю и дропаю десятки таблиц в день в тестах, никогда такого не было
источник

О

Олег in ClickHouse не тормозит
почитал логи запросов. видимо в какой-то момент я продолбался и ON CLUSTER не указал
источник

О

Олег in ClickHouse не тормозит
поулчается что запись о реплике в зукипера надо удалять теперь на самом зукипере?)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Олег
поулчается что запись о реплике в зукипера надо удалять теперь на самом зукипере?)
так вы проверьте таблица есть в КХ или нет, если есть то дроп ее, если нет то разбираться куда делась
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
попробуйте в конфиге зк
snapCount=1000000

в этом случае ЗК будет создавть снешот на каждые 1000000+-50% транзакций
на первый взгляд никак не поменялось
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
на первый взгляд никак не поменялось
а это точно зк?  Я пострел на свои, я не вижу особой разницы лидер не лидер, по-моему они все одинаково должны писать логи и делать fsync
источник