Size: a a a

ClickHouse не тормозит

2020 July 17

GE

Grigory Efimov in ClickHouse не тормозит
SELECT version()
FROM remote('cld-clickhouse-log1', system, one)

┌─version()─┐
19.15.3.6
└───────────┘
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
тьфу со всех
SELECT version()
FROM remote('cld-clickhouse-log{1..4}', system, one)
источник

GE

Grigory Efimov in ClickHouse не тормозит
SELECT version()
FROM remote('cld-clickhouse-log{1..4}', system, one)

┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘

4 rows in set. Elapsed: 0.008 sec.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Grigory Efimov
SELECT version()
FROM remote('cld-clickhouse-log{1..4}', system, one)

┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘
┌─version()─┐
19.15.3.6
└───────────┘

4 rows in set. Elapsed: 0.008 sec.
нда, странно, а локально ()

SELECT groupArrayMovingSum(value) from(
select value
FROM remote('cld-clickhouse-log1', system, metrics)
)
источник

GE

Grigory Efimov in ClickHouse не тормозит
локально пашет, да
источник

GE

Grigory Efimov in ClickHouse не тормозит
SELECT groupArrayMovingSum(value)
FROM
(
   SELECT value
   FROM remote('cld-clickhouse-log1', system, metrics)
)

Row 1:
──────
groupArrayMovingSum(value): [2,2,2,2,2,2,2,2,2,2,2,4,5,5,13,13,14,14,14,14,14,15,141824781,2339960003,-122643513245,-122643513245,-122643513244,-122643513242,-122643513241,-122643513237,-122643513237,-122643513237,-122643513237,-122643513237,-122643513237,-122643513237,-122643458811,-122624443808,-122624443808,-122624443808,-122624443804,-122624443804,-122624443709,-122624443666,-122624443666,-122624443666,-122624443666]

1 rows in set. Elapsed: 0.002 sec.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Grigory Efimov
локально пашет, да
значит не доделаны groupArrayMoving
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
я видимо не там кластере проверял, в 20.6 тоже не работает
источник

GE

Grigory Efimov in ClickHouse не тормозит
нужно наверно создать issue в гитхабе?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
да
источник
2020 July 18

rd

rus dacent in ClickHouse не тормозит
Here is a story of one specific vulnerability in ClickHouse (CVE-2019–15024) replication protocol but it also illustrates how the increase of attack surface can be exploited.


Why keep your Zoo doors closed
https://medium.com/@kyprizel/why-keep-you-zoo-doors-closed-7c1760d5b2b0
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Привет!

Цитата из документации
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/custom-partitioning-key/
=====
Рассмотрим детальнее имя первого куска 201901_1_3_1:

201901 имя партиции;
1 – минимальный номер блока данных;
3 – максимальный номер блока данных;
1 – уровень куска (глубина дерева слияний, которыми этот кусок образован).
=====

Какое будет имя куска, в случае с произвольным ключом партиционирования = round(id / 20000)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artemeey Gavryushin
Привет!

Цитата из документации
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/custom-partitioning-key/
=====
Рассмотрим детальнее имя первого куска 201901_1_3_1:

201901 имя партиции;
1 – минимальный номер блока данных;
3 – максимальный номер блока данных;
1 – уровень куска (глубина дерева слияний, которыми этот кусок образован).
=====

Какое будет имя куска, в случае с произвольным ключом партиционирования = round(id / 20000)
хэш, ну если можно число то будет число
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Dmitry Titov
хэш, ну если можно число то будет число
Имя партиции это число
А имя куска - не число, какая хеш функция?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artemeey Gavryushin
Имя партиции это число
А имя куска - не число, какая хеш функция?
Окей, имя куска будет ровно таким же.

имяПартиции_минимальныйБлок_максимальныйБлок_уровень

Имя партиции зависит от ключа партицирования. может быть либо числом, либо хешем от ключа партицирования, если к числу не приводиться
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Dmitry Titov
Окей, имя куска будет ровно таким же.

имяПартиции_минимальныйБлок_максимальныйБлок_уровень

Имя партиции зависит от ключа партицирования. может быть либо числом, либо хешем от ключа партицирования, если к числу не приводиться
Имя куска не соответствует имени партиции

Вот реальные куски данных, созданных с таким ключом, выводимые функцией system.parts: http://joxi.ru/Y2L3YPycQBeQ6m?d=1
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artemeey Gavryushin
Имя куска не соответствует имени партиции

Вот реальные куски данных, созданных с таким ключом, выводимые функцией system.parts: http://joxi.ru/Y2L3YPycQBeQ6m?d=1
select toTypeName(round(31/10))
Float64
Потому что результат фунции round это float, если принудительно это дело привести к инту то будет тебе число
источник

DT

Dmitry Titov in ClickHouse не тормозит
либо замени ключ на intDiv(id,2000)
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Dmitry Titov
либо замени ключ на intDiv(id,2000)
Спасибо, это одно из решений
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Dmitry Titov
select toTypeName(round(31/10))
Float64
Потому что результат фунции round это float, если принудительно это дело привести к инту то будет тебе число
На примере куска: 311af58b151d88a3f5937f951cae3949_452298_465836_4484

Как это "311af58b151d88a3f5937f951cae3949" превратить в 27?
Или наоборот
источник