Телеграмм чат группы clickhouse_ru страница 7770

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4068 membersпожаловаться на группу

2020 July 08

АК

Антон Куляшов... in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

это аналогичная схема партиционирования, по месяцу, замена старому синтаксису

старый синтаксис отменен, он планомерно выпиливается, новые фичи туда никогда не приедут.

>У нас из коробки создание таблиц не работает, потому что расходится дефолт в zk и ch.
что вы имеете в виду?

При первом рестарте кх после создания таблицы ловим следующую ошибку. Поэтому решили руками указать index_granularity_bytes = 10485760 при создании таблиц, чтобы совпало с метадатой в зк.

<Error> Application: DB::Exception: Existing table metadata in ZooKeeper differs in index granularity bytes. Stored in ZooKeeper: 10485760, local: 0: Cannot attach table `test`.`foo` from metadata file /srv/clickhouse/server/metadata/test/foo.sql from query ATTACH TABLE foo (`date` Date, `created` DateTime, `value` Int32) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/foo', '{replica}', date, value, 8192)

источник

17:31пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

Виталий

К сожалению да

SELECT parseDateTimeBestEffort('22:11:00')

┌─parseDateTimeBestEffort('22:11:00')─┐
│                 2000-01-01 22:11:00 │
└─────────────────────────────────────┘


SELECT toDateTime((toUnixTimestamp(toDateTime(toDate('2020-07-08'))) + toUnixTimestamp(parseDateTimeBestEffort('22:11:00'))) - 946684800) AS x

┌───────────────────x─┐
│ 2020-07-08 22:11:00 │
└─────────────────────┘

источник

17:32пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

а если сконкатенировать их и распарсить в DateTime?

кстати да, можно

источник

17:32пожаловаться #3

DC

Denny Crane (I don't... in ClickHouse не тормозит

Антон Куляшов

При первом рестарте кх после создания таблицы ловим следующую ошибку. Поэтому решили руками указать index_granularity_bytes = 10485760 при создании таблиц, чтобы совпало с метадатой в зк.

<Error> Application: DB::Exception: Existing table metadata in ZooKeeper differs in index granularity bytes. Stored in ZooKeeper: 10485760, local: 0: Cannot attach table `test`.`foo` from metadata file /srv/clickhouse/server/metadata/test/foo.sql from query ATTACH TABLE foo (`date` Date, `created` DateTime, `value` Int32) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/foo', '{replica}', date, value, 8192)

этот баг уже исправлен. Какой у вас КХ ?

НЕ ИСПОЛЬЗУЙТЕ СТАРЫЙ СИНТАКСИС ДЛЯ НОВЫХ ТАБЛИЦ!!!!!

источник

17:33пожаловаться #4

АК

Антон Куляшов... in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

этот баг уже исправлен. Какой у вас КХ ?

НЕ ИСПОЛЬЗУЙТЕ СТАРЫЙ СИНТАКСИС ДЛЯ НОВЫХ ТАБЛИЦ!!!!!

Пробовали 20.1.2.4 и 20.5.2.7

источник

17:34пожаловаться #5

В

Виталий in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

SELECT parseDateTimeBestEffort('22:11:00')

┌─parseDateTimeBestEffort('22:11:00')─┐
│                 2000-01-01 22:11:00 │
└─────────────────────────────────────┘


SELECT toDateTime((toUnixTimestamp(toDateTime(toDate('2020-07-08'))) + toUnixTimestamp(parseDateTimeBestEffort('22:11:00'))) - 946684800) AS x

┌───────────────────x─┐
│ 2020-07-08 22:11:00 │
└─────────────────────┘

Спасибо!

источник

17:34пожаловаться #6

В

Виталий in ClickHouse не тормозит

а если сконкатенировать их и распарсить в DateTime?

Спасибо за совет!

источник

17:34пожаловаться #7

OM

Oleg Mygryn in ClickHouse не тормозит

Добрый день, вопрос по, возможно, новой фиче clickhouse-copier - сейчас видим, что при переносе данных на последних версиях КХ в destination_cluster начал плодить массу таблиц

│ tbl_local_piece_1 │
│ tbl_local_piece_2 │
│ tbl_local_piece_3 │
│ tbl_local_piece_4 │
│ tbl_local_piece_5 │
│ tbl_local_piece_6 │
│ tbl_local_piece_7 │
│ tbl_local_piece_8 │

это ожидаемое явление? эти таблицы потом вручную необходимо чистить ? я так понимаю, связанно с PR https://github.com/ClickHouse/ClickHouse/pull/9075
Можно-ли вернуть обратный clickhouse-copier ? 🙂

clickhouse copier by nikitamikhaylov · Pull Request #9075 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Performance Improvement

Changelog entry (a user-readable short descriptio...

источник

18:02пожаловаться #8

S

Slach in ClickHouse не тормозит

Переслано от Slach

а кто нибудь может объяснить
почему если несколько раз сделал kill <zookeeper_pid>
и потом INSERT INTO default.test_repl
появляется ReadonlyReplica
но при этом когда zookeeper восстанавливается и делаешь
SYSTEM RESTART REPLICAS; SYSTEM SYNC REPLICA default.test_repl
все равно остается ReadonlyReplica ...
и в логах как то ничего вразумительного

источник

18:04пожаловаться #9

S

Slach in ClickHouse не тормозит

Добрый день, вопрос по, возможно, новой фиче clickhouse-copier - сейчас видим, что при переносе данных на последних версиях КХ в destination_cluster начал плодить массу таблиц

│ tbl_local_piece_1 │
│ tbl_local_piece_2 │
│ tbl_local_piece_3 │
│ tbl_local_piece_4 │
│ tbl_local_piece_5 │
│ tbl_local_piece_6 │
│ tbl_local_piece_7 │
│ tbl_local_piece_8 │

это ожидаемое явление? эти таблицы потом вручную необходимо чистить ? я так понимаю, связанно с PR https://github.com/ClickHouse/ClickHouse/pull/9075
Можно-ли вернуть обратный clickhouse-copier ? 🙂

clickhouse copier by nikitamikhaylov · Pull Request #9075 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Performance Improvement

Changelog entry (a user-readable short descriptio...

я думаю вам надо новый issue со ссылкой на PR прислать и автору PR отдельно написать

источник

18:05пожаловаться #10

pk

papa karlo in ClickHouse не тормозит

Добрый день, вопрос по, возможно, новой фиче clickhouse-copier - сейчас видим, что при переносе данных на последних версиях КХ в destination_cluster начал плодить массу таблиц

│ tbl_local_piece_1 │
│ tbl_local_piece_2 │
│ tbl_local_piece_3 │
│ tbl_local_piece_4 │
│ tbl_local_piece_5 │
│ tbl_local_piece_6 │
│ tbl_local_piece_7 │
│ tbl_local_piece_8 │

это ожидаемое явление? эти таблицы потом вручную необходимо чистить ? я так понимаю, связанно с PR https://github.com/ClickHouse/ClickHouse/pull/9075
Можно-ли вернуть обратный clickhouse-copier ? 🙂

clickhouse copier by nikitamikhaylov · Pull Request #9075 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Performance Improvement

Changelog entry (a user-readable short descriptio...

а нельзя в параметрах N = 1 передать?

источник

18:06пожаловаться #11

OM

Oleg Mygryn in ClickHouse не тормозит

@orantius извините, про какой параметр вы говорите ? в XML метаданных копира ? или аргумент clickhouse-copier

источник

18:08пожаловаться #12

pk

papa karlo in ClickHouse не тормозит

про тот, который видимо по дефолту 10 и приводит к появлению разных таблиц.

источник

18:10пожаловаться #13

DC

Denny Crane (I don't... in ClickHouse не тормозит

Переслано от Slach

а кто нибудь может объяснить
почему если несколько раз сделал kill <zookeeper_pid>
и потом INSERT INTO default.test_repl
появляется ReadonlyReplica
но при этом когда zookeeper восстанавливается и делаешь
SYSTEM RESTART REPLICAS; SYSTEM SYNC REPLICA default.test_repl
все равно остается ReadonlyReplica ...
и в логах как то ничего вразумительного

без on cluster нормально работает? Почему там второй раз drop table начался?

источник

18:12пожаловаться #14

D

Dj in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

этот шард!!!!!!!! есть локально на данной ноде

да, т.е. если есть кластер из 10 нод и ноды реплики одного шарда ( ReplicationFactor=10 ), то is_local =1 у всех 10 записейт будет

эт как?
у меня is_local - показывает именно является ли хост к которому выполнен запрос одним из хостов кластера... (ниже пример, replication factor=4, num_shards=1)

SELECT
    cluster,
    shard_num,
    replica_num,
    is_local
FROM system.clusters AS c
WHERE cluster LIKE 'ro-tr-2repl1shard'

┌─cluster───────────┬─shard_num─┬─replica_num─┬─is_local─┐
│ ro-tr-2repl1shard │         1 │           1 │        1 │
│ ro-tr-2repl1shard │         1 │           2 │        0 │
│ ro-tr-2repl1shard │         1 │           3 │        0 │
│ ro-tr-2repl1shard │         1 │           4 │        0 │
└───────────────────┴───────────┴─────────────┴──────────┘

источник

18:13пожаловаться #15

RO

Required Optional in ClickHouse не тормозит

Доброе время суток. А есть ли возможность увеличить таймаут клиента прям в текущей сессии без модификации таймаута в файле пользователей?

источник

18:15пожаловаться #16

DC

Denny Crane (I don't... in ClickHouse не тормозит

эт как?
у меня is_local - показывает именно является ли хост к которому выполнен запрос одним из хостов кластера... (ниже пример, replication factor=4, num_shards=1)

SELECT
    cluster,
    shard_num,
    replica_num,
    is_local
FROM system.clusters AS c
WHERE cluster LIKE 'ro-tr-2repl1shard'

┌─cluster───────────┬─shard_num─┬─replica_num─┬─is_local─┐
│ ro-tr-2repl1shard │         1 │           1 │        1 │
│ ro-tr-2repl1shard │         1 │           2 │        0 │
│ ro-tr-2repl1shard │         1 │           3 │        0 │
│ ro-tr-2repl1shard │         1 │           4 │        0 │
└───────────────────┴───────────┴─────────────┴──────────┘

возможно изменилось что-то

┌─cluster────┬─shard_num─┬─replica_num─┬─host_address─┬─is_local─┐
│ replicated │         1 │           1 │ 10.254.56.2  │        1 │
│ replicated │         1 │           2 │ 10.252.62.2  │        1 │
│ replicated │         1 │           3 │ 10.254.204.2 │        1 │
│ replicated │         1 │           4 │ 10.252.218.2 │        1 │
│ replicated │         1 │           5 │ 10.253.39.2  │        1 │
│ replicated │         1 │           6 │ 10.253.217.2 │        1 │
│ replicated │         1 │           7 │ 10.253.70.2  │        1 │
│ replicated │         1 │           8 │ 10.252.98.2  │        1 │
│ replicated │         1 │           9 │ 10.252.133.2 │        1 │
│ replicated │         1 │          10 │ 10.251.205.2 │        1 │
└────────────┴───────────┴─────────────┴──────────────┴──────────┘

источник

18:16пожаловаться #17

D

Dj in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

возможно изменилось что-то

┌─cluster────┬─shard_num─┬─replica_num─┬─host_address─┬─is_local─┐
│ replicated │         1 │           1 │ 10.254.56.2  │        1 │
│ replicated │         1 │           2 │ 10.252.62.2  │        1 │
│ replicated │         1 │           3 │ 10.254.204.2 │        1 │
│ replicated │         1 │           4 │ 10.252.218.2 │        1 │
│ replicated │         1 │           5 │ 10.253.39.2  │        1 │
│ replicated │         1 │           6 │ 10.253.217.2 │        1 │
│ replicated │         1 │           7 │ 10.253.70.2  │        1 │
│ replicated │         1 │           8 │ 10.252.98.2  │        1 │
│ replicated │         1 │           9 │ 10.252.133.2 │        1 │
│ replicated │         1 │          10 │ 10.251.205.2 │        1 │
└────────────┴───────────┴─────────────┴──────────────┴──────────┘

20.3.х
у вас?

источник

18:16пожаловаться #18

DC

Denny Crane (I don't... in ClickHouse не тормозит

да что-то такое писали в чатике, у меня 19

источник

18:16пожаловаться #19

DC

Denny Crane (I don't... in ClickHouse не тормозит

Required Optional

Доброе время суток. А есть ли возможность увеличить таймаут клиента прям в текущей сессии без модификации таймаута в файле пользователей?

таймаут клиента это странная штука, например в jdbc это не имеет отношения к КХ, и задается http client внутри java

источник

18:17пожаловаться #20