Size: a a a

ClickHouse не тормозит

2020 July 07

C

Combot in ClickHouse не тормозит
Total messages: 170684
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
конфиг на всех серверах одинаковый. select count() from shard_1 на репликах не совподат
таблицы ReplicatedMergeTree создаю
server-1:
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-2:

CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-3:
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);
этот формат 3 года как устарел
ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192)

ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica00}')
Partition by  date
Order by  (intHash32(login), date)
Sample by (intHash32(user_id)


чушь какая-то
Order by  (intHash32(login), date)
Sample by (intHash32(user_id)
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
server-1 - 192.168.56.1
server-2 - 192.168.56.2
server-3  - 192.168.56.3
?
не совпадает тогда
а как должно быть что бы совподало?
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Никто не сталкивался после дедубликации остались записи с sign = 0, с пустыми колонками (кроме 1)  ALTER TABLE .. DELETE WHERE .. не помогает.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
а как должно быть что бы совподало?
ну у вас shard1 база shard_1 описана как 192.168.56.1/ 192.168.56.2 и server-1: server-3:
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в system.replication_queue что?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Illia Slobozhanin
Никто не сталкивался после дедубликации остались записи с sign = 0, с пустыми колонками (кроме 1)  ALTER TABLE .. DELETE WHERE .. не помогает.
что такое дедуплкиция в вашем понимании?
движок CollapsingMT ?
sign = 0 там был при инсертах?
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
что такое дедуплкиция в вашем понимании?
движок CollapsingMT ?
sign = 0 там был при инсертах?
1. OPTIMIZE FINAL DEDUPLICATE
2. ReplicatedCollapsingMT
3. Не должно быть по идее sign 0 при вставке
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Illia Slobozhanin
1. OPTIMIZE FINAL DEDUPLICATE
2. ReplicatedCollapsingMT
3. Не должно быть по идее sign 0 при вставке
нельзя делать OPTIMIZE DEDUPLICATE на CollapsingMT он только для MergeTree
обычный optimize и так схлопнет, без DEDUPLICATE
источник

IS

Illia Slobozhanin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нельзя делать OPTIMIZE DEDUPLICATE на CollapsingMT он только для MergeTree
обычный optimize и так схлопнет, без DEDUPLICATE
А не, не было там OPTIMIZE FINAL DEDUPLICATE. Иногда бывают только OPTIMIZE FINAL.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Slach
всем привет, коллеги подскажите
а в какой момент в system.mutations выставляется поле is_done?

мутации это постоянный процесс ведь? или одноразовый?
и если я хочу форсануть мутацию на небольшой таблице в 1.5 Gb
то может ли мне в этом помочь OPTIMIZE TABLE .. FINAL?
is_done когда мутация закончится, она бежит после за пуска и до конца, но мутации выстраиваются в очередь

>то может ли мне в этом помочь OPTIMIZE TABLE .. FINAL?
нет конечно
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в system.replication_queue что?
Такая ошибка
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: server-1 (version 20.5.2.7 (official build)) │ 2020-07-07 17:12:08
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
вы проверьте, эт не точно, я например не очень понимаю как это работает если уже есть работающие мерджи на той же таблице (т.е. появится новый парт, будет ли на нем отработан mutation который был запущен до этого?).
это уже тяжелая артиллерия, ждем солнца из Канады )
мутация будет ждать куска из мержа
мерж будет ждать кусок из мутации
источник

AL

Aleksey Laptev in ClickHouse не тормозит
Ilya Reshetnikov
Такая ошибка
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: server-1 (version 20.5.2.7 (official build)) │ 2020-07-07 17:12:08
/etc/hosts?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
Такая ошибка
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: server-1 (version 20.5.2.7 (official build)) │ 2020-07-07 17:12:08
реплики объявляют себя через типа hostname -f

server-1  выполнил hostname -f , и записал в зукипер что он server-1, теперь server-2 и server-3 ищут этот server-1
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Illia Slobozhanin
А не, не было там OPTIMIZE FINAL DEDUPLICATE. Иногда бывают только OPTIMIZE FINAL.
или вставили sign 0 инсертом или баг, но я таких багов не видел. Надо тикет и логи и таблцу или воспроизводить
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
реплики объявляют себя через типа hostname -f

server-1  выполнил hostname -f , и записал в зукипер что он server-1, теперь server-2 и server-3 ищут этот server-1
Заработало спасибо. В etc/hosts прописал адреса и поправил ReplicatedMergeTree
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
Заработало спасибо. В etc/hosts прописал адреса и поправил ReplicatedMergeTree
зыЖ У меня резко отрицательное отношение к circlereplication. Я считаю что ту статью нужно удалить с сайта altinity.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
circlereplication делает из "КХ не тормозит" -- "КХ тормозит"
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Можете предложить другой HA вариант?
источник