D
Память? Какая память )
Size: a a a
2020 June 16
D
Спасибо
И
я ОК, у меня тоже так, меня больше всего интересует как делается вставка, есть distributed таблица или нет
Distibuted нет, есть буферная таблица перед ней, вставка только в буферную таблицу идет
DC
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking part 202006_2186437_2195108_1948
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 202006_2186437_2195108_1948.
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found parts with the same min block and with the same max block as the missing part 202006_2186437_2195108_1948. Hoping that it will eventually appear as a result of a merge.это нормально, т.е. реплика почему-то не смогла смержить парт сама, или не успела или не смогла скачать исходные парты, почему это случилось надо искать в логе выше по
202006_2186437И
т.е. у вас 10 реплик, шардов нет, и distributed таблицы нет?
логлевел trace? что показывает лог если прогрепать его по
логлевел trace? что показывает лог если прогрепать его по
202006_2175069_2175076_1 ?<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking part 202006_2198728_2198728_0
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 202006_2198728_2198728_0.
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found part 202006_2198716_2198730_2 on clickhouse4 that covers the missing part 202006_2198728_2198728_0
<Error> aaa.my_table: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 202006_2198716_2198730_2 (state Committed) already exists, Stack trace:
И
пазл сложился почти
tc
Подскажите пожалуйста как сделать join по between или datediff ?
DC
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking part 202006_2198728_2198728_0
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Checking if anyone has a part covering 202006_2198728_2198728_0.
<Warning> aaa.my_table (ReplicatedMergeTreePartCheckThread): Found part 202006_2198716_2198730_2 on clickhouse4 that covers the missing part 202006_2198728_2198728_0
<Error> aaa.my_table: DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 202006_2198716_2198730_2 (state Committed) already exists, Stack trace:
получается что-то типа, пытались скачать
Я бы помониторил ошибки в select * from system.replication_queue
возможно таймауты скачки, если сеть не очень, это можно подкрутит
202006_2198728_2198728_0 (это level_0 -- инсерт), а его уже нет ни у кого его смержили, начали качать покрывающий парт 202006_2198716_2198730_2. Я бы помониторил ошибки в select * from system.replication_queue
возможно таймауты скачки, если сеть не очень, это можно подкрутит
tc
в первом случае ошибка ON clause should use equals condition
tc
во втором говорит что timestamp from different tables
DC
Подскажите пожалуйста как сделать join по between или datediff ?
вот час назад спрашивали https://t.me/clickhouse_ru/166862
И
получается что-то типа, пытались скачать
Я бы помониторил ошибки в select * from system.replication_queue
возможно таймауты скачки, если сеть не очень, это можно подкрутит
202006_2198728_2198728_0 (это level_0 -- инсерт), а его уже нет ни у кого его смержили, начали качать покрывающий парт 202006_2198716_2198730_2. Я бы помониторил ошибки в select * from system.replication_queue
возможно таймауты скачки, если сеть не очень, это можно подкрутит
Скачки действительно есть, Но это перманентное состояние кластера, сеть хорошая, 10G. Спасибо за разъяснения
tc
вот час назад спрашивали https://t.me/clickhouse_ru/166862
понял, спасибо, пойду читать про range
tc
интересно почему такое сложно решение для такой вроде бы частой проблемы ?
DC
интересно почему такое сложно решение для такой вроде бы частой проблемы ?
потому что тяжело это сделать с OLAP (они используют только HashJoin, а там только equi join)
во многих OLAP тоже самое.
во многих OLAP тоже самое.
DC
т.е. либо ОЧЕНЬ медленно, либо никак, КХ выбрал не тормозить
2020 June 17
D
https://github.com/ClickHouse/ClickHouse/issues/11719 вот набросил на вентилятор... лайкаем, все дела )
l
https://github.com/ClickHouse/ClickHouse/issues/11719 вот набросил на вентилятор... лайкаем, все дела )
Playing with individual thread counts, memory limitations on each level of subquery
А еще с размером блока)
А еще с размером блока)
D
Playing with individual thread counts, memory limitations on each level of subquery
А еще с размером блока)
А еще с размером блока)
edited :)
l
Единственное, вроде индекс всегда используется, если есть какие то подходящие колонки в WHERE?