Size: a a a

ClickHouse не тормозит

2020 September 23

С

Саша in ClickHouse не тормозит
Aleksey Ryabkov
что касается этих решений, то они делают перераспределение по партициям, а стандартный MM использует стандартный (по умолчанию). однако во второй версии они озадачились этим вопросом - https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0
насколько помню везде есть настраиваемая repartitioning strategy
источник

AR

Aleksey Ryabkov in ClickHouse не тормозит
Саша
насколько помню везде есть настраиваемая repartitioning strategy
в нативном mirror-maker вроде нет кастомного  вот цитата из доки
The source and destination clusters are completely independent entities: they can have different numbers of partitions and the offsets will not be the same. For this reason the mirror cluster is not really intended as a fault-tolerance mechanism (as the consumer position will be different); for that we recommend using normal in-cluster replication. The mirror maker process will, however, retain and use the message key for partitioning so order is preserved on a per-key basis.
источник

AR

Aleksey Ryabkov in ClickHouse не тормозит
но не суть человеку может он подойти если у него нет проблем с переупорядочиванием и дублями.
источник

D

Dj in ClickHouse не тормозит
RR2347987
Какую версию ClickHouse вы используете?
Анонимный опрос
11%
20.7
8%
20.6
5%
20.5
13%
20.4
29%
20.3
1%
20.2
4%
20.1
24%
19..
4%
18..
Проголосовало: 75
о в этот раз вы задали правильный вопрос =)
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
Скажите, а есть аналог функции runningDifference, но принимающей на вход массив?
источник

D

Dj in ClickHouse не тормозит
Николай Чернов
Скажите, а есть аналог функции runningDifference, но принимающей на вход массив?
это не аггрегирующая функция, поэтому только через аррайджойн.
для аггрегирующих можно arrayReduce
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
Т.е. вы предлагаете массив развернуть в строки arrayJoin'ом, а потом уже runningDifference?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Николай Чернов
Скажите, а есть аналог функции runningDifference, но принимающей на вход массив?
arrayDifference
источник

LU

Lars Ulrich in ClickHouse не тормозит
Received exception from server (version 20.9.2):
Code: 46. DB::Exception: Received from localhost:9000. DB::Exception: Unknown function formatReadableQuantity. Maybe you meant: ['formatReadableSize']

Хотя в доках уже есть https://clickhouse.tech/docs/en/sql-reference/functions/other-functions/#formatreadablequantityx. Не вмержено еще походу?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Lars Ulrich
Received exception from server (version 20.9.2):
Code: 46. DB::Exception: Received from localhost:9000. DB::Exception: Unknown function formatReadableQuantity. Maybe you meant: ['formatReadableSize']

Хотя в доках уже есть https://clickhouse.tech/docs/en/sql-reference/functions/other-functions/#formatreadablequantityx. Не вмержено еще походу?
latest в доках -- это мастер. Он 20.11
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
latest в доках -- это мастер. Он 20.11
ясно, буду знать. спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
20.10.1.4704.

SELECT formatReadableQuantity(3333)

┌─formatReadableQuantity(3333)─┐
│ 3.33 thousand                │
└──────────────────────────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
переключатель версий похоже в доке не работает
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
20.10.1.4704.

SELECT formatReadableQuantity(3333)

┌─formatReadableQuantity(3333)─┐
│ 3.33 thousand                │
└──────────────────────────────┘
Думал, дока актуальна к последнему, что подтягивается из apt-get update/upgrade. Вы же сами собирали эту версию?
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
переключатель версий похоже в доке не работает
не работает. он есть, но редиректится на latest постоянно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
нет, я скачал конкретный комит из CI

а вот например репа testing https://repo.yandex.ru/clickhouse/deb/testing/main/
источник

LU

Lars Ulrich in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нет, я скачал конкретный комит из CI

а вот например репа testing https://repo.yandex.ru/clickhouse/deb/testing/main/
спасибо за ссыль
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а скачал я 20.10.1.4704 потому что там есть тот WITH который типа CTE и он там есть и работает https://github.com/ClickHouse/ClickHouse/blob/master/tests/queries/0_stateless/01495_subqueries_in_with_statement.sql
источник

AZ

Anton Zhuravsky in ClickHouse не тормозит
добрый день! странный баг ловим раз в пару дней на версии 20.6.3.28: CH запущен, пишет что-то в логи (мержи идут, жует свои дела), но сам он не отвечает буквально ни на что: получение данных из кафки отваливается, запросы (даже банальные вроде USE dbname или SHOW PROCESSLIST) тупо влипают. Сервер не в свопе, место диске есть, CPU загружен процентов на 10. Рестарт мгновенно чинит проблему. Что за ведьма? 🙂
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anton Zhuravsky
добрый день! странный баг ловим раз в пару дней на версии 20.6.3.28: CH запущен, пишет что-то в логи (мержи идут, жует свои дела), но сам он не отвечает буквально ни на что: получение данных из кафки отваливается, запросы (даже банальные вроде USE dbname или SHOW PROCESSLIST) тупо влипают. Сервер не в свопе, место диске есть, CPU загружен процентов на 10. Рестарт мгновенно чинит проблему. Что за ведьма? 🙂
начните с обновления в 20.6.7.4 , вдруг там починилось само
источник