Телеграмм чат группы clickhouse_ru страница 8111

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4226 membersпожаловаться на группу

2020 August 27

S

Slach in ClickHouse не тормозит

Andrey Shevchenko

добрый день, оказалось что использовать в качестве sharding_key монотонно возрастающего int - не лучшая идея, получился перекос 1/10
несмотря на то, что
> distributes data using a hash function on top of the sharding key
(с сайта altinity, в документации CH вообще не нашел информации как шардинг происходит)
в чем может быть причина? хэш функция не нормально распределяет значения?

дак вы сам счетчик сделали как sharding key?
или хеш от этого счетчика?

источник

16:25пожаловаться #1

AS

Andrey Shevchenko in ClickHouse не тормозит

дак вы сам счетчик сделали как sharding key?
или хеш от этого счетчика?

сам счетчик

источник

16:25пожаловаться #2

AS

Andrey Shevchenko in ClickHouse не тормозит

думал внутри делается хэш исходя из статьи https://altinity.com/blog/2017/6/5/clickhouse-data-distribution

ClickHouse Software And Services | Altinity

ClickHouse Data Distribution - ClickHouse Software And Services | Altinity

Jun 5, 2017 ClickHouse data distribution and replication are fundamental techniques for building reliable and scalable ClickHouse systems. In this article we will explain how it works from the user perspective

источник

16:26пожаловаться #3

AK

Andrii Kakoichenko in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

Если не * выбирать а одно любое поле что тогда?

Сделал

select Timestamp
from CfLog c
where Timestamp < '2020-07-12 10:00:00'
order by Timestamp desc
limit 1
Отрабатывает 60 мс, но пишет, что пепелопатило 11 млн строк и 85МБ данных

Когда пишу

select Timestamp
from CfLog c
where Timestamp < '2020-07-12 10:00:00' and Timestamp > '2020-07-12 09:59:59'
order by Timestamp desc
limit 1

То <10мс, 34К строк и 267КБ данных

Когда перечислил все столбцы вместо *, то падает по лимиту в 10ГБ (понимаю, что лимит детский, но для нас важно, чтобы подобные запросы отрабатывали мгновенно, а не поднимали гигабайты с диска)

источник

16:26пожаловаться #4

S

Slach in ClickHouse не тормозит

Andrey Shevchenko

сам счетчик

он и делается остаток от деления на кол-во шардов = индекс искомого шарда

точно счетчик "монотонно" возрастает?

источник

16:26пожаловаться #5

AS

Andrey Shevchenko in ClickHouse не тормозит

он и делается остаток от деления на кол-во шардов = индекс искомого шарда

точно счетчик "монотонно" возрастает?

не совсем понял от чего делается хэш

источник

16:27пожаловаться #6

D

Dj in ClickHouse не тормозит

Andrey Shevchenko

думал внутри делается хэш исходя из статьи https://altinity.com/blog/2017/6/5/clickhouse-data-distribution

ClickHouse Software And Services | Altinity

ClickHouse Data Distribution - ClickHouse Software And Services | Altinity

Jun 5, 2017 ClickHouse data distribution and replication are fundamental techniques for building reliable and scalable ClickHouse systems. In this article we will explain how it works from the user perspective

https://t.me/clickhouse_ru/156742

Denny Crane [not a Yandex bot] in ClickHouse не тормозит

Для выбора шарда, на который отправляется строка данных, вычисляется выражение шардирования, и берётся его остаток от деления на суммарный вес шардов. Строка отправляется на шард, соответствующий полуинтервалу остатков от prev_weights до prev_weights + weight, где prev_weights - сумма весов шардов с меньшим номером, а weight - вес этого шарда. Например, если есть два шарда, и у первого выставлен вес 9, а у второго 10, то строка будет отправляться на первый шард для остатков из диапазона [0, 9), а на второй - для остатков из диапазона [9, 19).

источник

16:27пожаловаться #7

AS

Andrey Shevchenko in ClickHouse не тормозит

да, счетчик обычный, правда начинается не с 1 и могут быть пропуски в некоторых местах

источник

16:28пожаловаться #8

S

Slach in ClickHouse не тормозит

Andrey Shevchenko

не совсем понял от чего делается хэш

sharding_key % shards_count => shard index => server name
веса шардов обычно 1

источник

16:28пожаловаться #9

D

Dj in ClickHouse не тормозит

Andrey Shevchenko

да, счетчик обычный, правда начинается не с 1 и могут быть пропуски в некоторых местах

если есть пропуски и веса все одинаковые - то надо хеш самому делать

источник

16:28пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Andrii Kakoichenko

Сделал

select Timestamp
from CfLog c
where Timestamp < '2020-07-12 10:00:00'
order by Timestamp desc
limit 1
Отрабатывает 60 мс, но пишет, что пепелопатило 11 млн строк и 85МБ данных

Когда пишу

select Timestamp
from CfLog c
where Timestamp < '2020-07-12 10:00:00' and Timestamp > '2020-07-12 09:59:59'
order by Timestamp desc
limit 1

То <10мс, 34К строк и 267КБ данных

Когда перечислил все столбцы вместо *, то падает по лимиту в 10ГБ (понимаю, что лимит детский, но для нас важно, чтобы подобные запросы отрабатывали мгновенно, а не поднимали гигабайты с диска)

set max_threads=1,max_block_size=512

>Когда перечислил все столбцы вместо *, то падает по лимиту в 10ГБ
КХ не для вас. У вас 65к строк распакованными со всеми полями (*) не влезают в 10ГБ

источник

16:28пожаловаться #11

S

Slach in ClickHouse не тормозит

Andrey Shevchenko

да, счетчик обычный, правда начинается не с 1 и могут быть пропуски в некоторых местах

ну вот у вас пропуски слишком большие или веса шардов криво сделаны

источник

16:28пожаловаться #12

AS

Andrey Shevchenko in ClickHouse не тормозит

если есть пропуски и веса все одинаковые - то надо хеш самому делать

понял, спасибо. то есть неявного хэша поверх шардинг ключа сам КХ не делает и в статье на altinity ошибка, правильно?

источник

16:29пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

так я ошбися, там не реплика, там 2 шарда в каждом по одной реплике

SELECT *
FROM system.clusters
WHERE cluster = 'all-sharded'

┌─cluster─────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name───────────────────────────────┬─host_address─┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ all-sharded │         1 │            1 │           1 │ chi-test-cluster-for-alerts-default-0-0 │ 127.0.0.1    │ 9000 │        1 │ default │                  │            0 │                       0 │
│ all-sharded │         2 │            1 │           1 │ chi-test-cluster-for-alerts-default-0-1 │ 172.17.0.12  │ 9000 │        0 │ default │                  │            0 │                       0 │
└─────────────┴───────────┴──────────────┴─────────────┴─────────────────────────────────────────┴──────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘

а если не settings а через set до инсерта?

источник

16:30пожаловаться #14

D

Dj in ClickHouse не тормозит

Andrey Shevchenko

понял, спасибо. то есть неявного хэша поверх шардинг ключа сам КХ не делает и в статье на altinity ошибка, правильно?

я связке Денни и документации верю больше как то...

источник

16:30пожаловаться #15

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Николай Гусев

ClickHouse server version 20.4.5 revision 54434

технически это не проблема, просто повторяйте запрос. И заводите ишью если можете воспроизвести. Я пытаюсь воспроизвести но не получается

источник

16:31пожаловаться #16

S

Slach in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

а если не settings а через set до инсерта?

через параметры коммандной строки получилось

источник

16:31пожаловаться #17

DC

Denny Crane [not a Y... in ClickHouse не тормозит

через параметры коммандной строки получилось

да прикол в том что settings относится к select

источник

16:32пожаловаться #18

AS

Andrey Shevchenko in ClickHouse не тормозит

какой хэш из тех что есть в кликхаусе рекомендуется использовать для этих целей? оптимальный по проиводительности и дающий хорошее распределение на любых данных?

источник

16:33пожаловаться #19

DC

Denny Crane [not a Y... in ClickHouse не тормозит

так mod -- это хешфункция, где ошибка у альтинити? вы о чем вообще?

источник

16:34пожаловаться #20