Size: a a a

ClickHouse не тормозит

2020 July 22

K

Kid in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну какая разница, добавьте в zkEnv.sh

export SERVER_JVMFLAGS="$SERVER_JVMFLAGS -Dzookeeper.DigestAuthenticationProvider.superDigest=super:DyNYQEQvajljsxlhf5uS4PJ9R28="
перед
export SERVER_JVMFLAGS="-Xmx${ZK_SERVER_HEAP}m $SERVER_JVMFLAGS"
Ок, это на выключенном zkServer сделать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kid
Ок, это на выключенном zkServer сделать?
нет, не обязательно, он используется только в момент  ./zkServer.sh start
источник

K

Kid in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нет, не обязательно, он используется только в момент  ./zkServer.sh start
Отлично, заработало)
теперь выкинуть это можно из zkEnv, если использовать не собираюсь?
источник

K

Kid in ClickHouse не тормозит
Или можно оставить в качестве аутентификации для суперпользователя?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kid
Отлично, заработало)
теперь выкинуть это можно из zkEnv, если использовать не собираюсь?
это ваше дело, как хотите.
источник

G

GithubReleases in ClickHouse не тормозит
ClickHouse/ClickHouse tagged: v20.5.3.27-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v20.5.3.27-stable
Release notes:
v20.5.3.27-stable
источник

K

Kid in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это ваше дело, как хотите.
Спасибо за помощь, все запустилось)
источник

P

Pavel in ClickHouse не тормозит
Тут уже говорили про max_partitions_per_insert_block, и советовали поменять PARTITION BY, как я понимаю поменять его на уже существующей таблице - нельзя. Какой самый эффективный способ перетащить данные из одной в другую табличку если у нас данных 80+ лярдов записей?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavel
Тут уже говорили про max_partitions_per_insert_block, и советовали поменять PARTITION BY, как я понимаю поменять его на уже существующей таблице - нельзя. Какой самый эффективный способ перетащить данные из одной в другую табличку если у нас данных 80+ лярдов записей?
самое эффективный способ insert select

вообще "Тут уже говорили про max_partitions_per_insert_block, и советовали поменять PARTITION BY" вся фраза звучит как бред.
max_partitions_per_insert_block -- это искусственный лимитер-предохранитель от ошибок новичков, создающих первую в жизни КХ таблицу с ошибкой типа partition by datetime
источник

P

Pavel in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
самое эффективный способ insert select

вообще "Тут уже говорили про max_partitions_per_insert_block, и советовали поменять PARTITION BY" вся фраза звучит как бред.
max_partitions_per_insert_block -- это искусственный лимитер-предохранитель от ошибок новичков, создающих первую в жизни КХ таблицу с ошибкой типа partition by datetime
Я имел ввиду то, из-за чего в ошибке про это пишется, мы облажались с PARTITION BY, и налили туда немножко записей. Теперь вот думаем. INSERT SELECT на 6 месячном окне наглухо повесил Clickhouse.
источник

P

Pavel in ClickHouse не тормозит
Механизм INSERT ... SELECT как-то бьет это на чанки, или сначала пытается загрузить все в оперативку, а уже оттуда вставлять?
источник

P

Pavel in ClickHouse не тормозит
(прошу прощения если вопросы тупые, но лучше задавать тупые вопросы, чем прикидываться умным)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavel
Механизм INSERT ... SELECT как-то бьет это на чанки, или сначала пытается загрузить все в оперативку, а уже оттуда вставлять?
конечно он стримит кусками и льет сколько угодно не зависая, вы видно опять облажались с новой таблицей
источник

P

Pavel in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
конечно он стримит кусками и льет сколько угодно не зависая, вы видно опять облажались с новой таблицей
даже если указывать условия выборки кусками?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavel
даже если указывать условия выборки кусками?
да, если не сортировать и не группировать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
надо знать ваши условия, кол-во озу, cpu , ширину таблицы, что вы написали в partition by / order by , можно настроить insert
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
размеры кусков записи, чтения и т.д.
источник

P

Pavel in ClickHouse не тормозит
так-с ощущение, что там был гениальный ORDER BY tuple()
источник

P

Pavel in ClickHouse не тормозит
новая табличка у нас отличается от старой только изменением PARTITION BY (на старой там нет приведения партиции к году/месяцу)
источник

P

Pavel in ClickHouse не тормозит
CREATE TABLE events
(
   `event` String,
   `event_date` Date DEFAULT toDate(event_time),
   `event_time` DateTime,
   `event_id` UInt32,
   `id_num_0` Float64,
   `id_num_1` Float64,
   `id_num_2` Float64,
   `id_num_3` Float64,
   `id_num_4` Float64,
   `id_num_5` Float64,
   `id_num_6` Float64,
   `id_num_7` Float64,
   `id_num_8` Float64,
   `id_num_9` Float64,
   `id_str_0` String,
   `id_str_1` String,
   `id_str_2` String,
   `id_str_3` String,
   `id_str_4` String,
   `id_str_5` String,
   `id_str_6` String,
   `id_str_7` String,
   `id_str_8` String,
   `id_str_9` String,
   `state_num_0` Float64,
   `state_num_1` Float64,
   `state_num_2` Float64,
   `state_num_3` Float64,
   `state_num_4` Float64,
   `state_num_5` Float64,
   `state_num_6` Float64,
   `state_num_7` Float64,
   `state_num_8` Float64,
   `state_num_9` Float64,
   `state_str_0` String,
   `state_str_1` String,
   `state_str_2` String,
   `state_str_3` String,
   `state_str_4` String,
   `state_str_5` String,
   `state_str_6` String,
   `state_str_7` String,
   `state_str_8` String,
   `state_str_9` String,
   `state_str_10` String,
   `state_str_11` String,
   `state_str_12` String,
   `state_str_13` String,
   `state_str_14` String,
   `state_str_15` String
)
ENGINE = ReplacingMergeTree(event_time)
PARTITION BY toYYYYMM(event_date)
ORDER BY (event,
event_date,
event_time,
event_id,
id_num_0,
id_num_1,
id_num_2,
id_num_3,
id_num_4,
id_num_5,
id_num_6,
id_num_7,
id_num_8,
id_num_9,
id_str_0,
id_str_1,
id_str_2,
id_str_3,
id_str_4,
id_str_5,
id_str_6,
id_str_7,
id_str_8,
id_str_9)
SETTINGS index_granularity = 8192
источник