Size: a a a

ClickHouse не тормозит

2020 September 02

VS

Vladyslav Sakun in ClickHouse не тормозит
Gleb
max_memory_usage_for_all_queries

Подскажите не нашёл этого в документации?
источник

G

Gleb in ClickHouse не тормозит
Спасибо
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Merge таблица параллельно выполняется, так что лучше наверное что бы это на шардах досчитывалось
да, какие то невообразимые тормоза при мердж-овер-дистр* по сравнению с локальными запусками одноуровневых запросов
источник

D

Dj in ClickHouse не тормозит
че то явно не пушится
источник

DT

Dmitry Titov in ClickHouse не тормозит
там есть настроечка в сколько потоков выполнять merge таблицы
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
там есть настроечка в сколько потоков выполнять merge таблицы
merge у нас для версионирования, там остальные должны отфильтровываться по партишнкей/индексу... не должны как бы влиять
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
там есть настроечка в сколько потоков выполнять merge таблицы
а чё за настройка?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
а чё за настройка?
M(SettingFloat, max_streams_multiplier_for_merge_tables, 5, "Ask more streams when reading from Merge table. Streams will be spread across tables that Merge table will use. This allows more even distribution of work across threads and especially helpful when merged tables differ in size.") \
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
M(SettingFloat, max_streams_multiplier_for_merge_tables, 5, "Ask more streams when reading from Merge table. Streams will be spread across tables that Merge table will use. This allows more even distribution of work across threads and especially helpful when merged tables differ in size.") \
ну ка попробуем
источник

DT

Dmitry Titov in ClickHouse не тормозит
Это вопрос кстати, как они там распределятся с учетом distributed таблицы то
источник

S

Slawka in ClickHouse не тормозит
Подскажите плиз
Таблица вида
Дата, сервер, счётчик

Нужно получить
Дата, сервера в этом промежутке, runningDiff по каждому серверу
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Это вопрос кстати, как они там распределятся с учетом distributed таблицы то
вообще нехорошо...
запрос к таблице 1 - 3с
таблице 2 - 5 с
к мердж - 14с
источник

D

Dj in ClickHouse не тормозит
ещё не хватало свои UNION ALL плодить
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Это вопрос кстати, как они там распределятся с учетом distributed таблицы то
MERGE:
0 rows in set. Elapsed: 14.899 sec. Processed 635.55 million rows, 335.40 GB (42.66 million rows/s., 22.51 GB/s.)

Table1:
0 rows in set. Elapsed: 5.730 sec. Processed 417.29 million rows, 14.05 GB (72.83 million rows/s., 2.45 GB/s.)
Table2:
0 rows in set. Elapsed: 2.943 sec. Processed 218.27 million rows, 6.27 GB (74.17 million rows/s., 2.13 GB/s.)


чё то мой мердж в плане гигабайтов раскурочило =))) а количество строк совпадает
источник

MP

Maxim Petrovsky in ClickHouse не тормозит
Dj
смотря "пустая строка" или НУЛЛ...
select arrayFirst( (x) -> not empty(x) , ['2','','4']);
спасибо!
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Это вопрос кстати, как они там распределятся с учетом distributed таблицы то
короче 2 таблицы по 32 потока каждая или 64 потока каждая через мердж
читаются медленнее чем по очереди... мрак какой-то
источник

G

Gleb in ClickHouse не тормозит
Есть ли у кого статейка или набор скриптов для восстановления кластера после поломки сервера .
Сценарий 1:
1. Один из Шардов сломался
2. Запустили новую железку на замену
3. Запустили на новом сервере некий набор скриптов для восстановления потерянного шарда.
4. Данные реплицировались на новый сервер
5. Clickhouse не тормозит
источник

SI

Sergei Iamskoi in ClickHouse не тормозит
Всем привет! Не получается осилить clickhouse + kafka + protobuf. С json вроде все ок получается, а с прото не выходит. Получаю в логах бесконечную ошибку "<Warning> StorageKafka (queue): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.". Причем независомо есть данные в очереди или нет. Ну и сами данные не пишутся. Вторые сутки уже ковыряюсь с этим. Может, кто помочь\подсказать? Тестовые запросы, на которых пробую завести это дело:
источник

SI

Sergei Iamskoi in ClickHouse не тормозит
create database test_db;

-- Таблица, куда пишем данные полученные в очереди
CREATE TABLE IF NOT EXISTS test_db.test_table (
   company_id           UInt32,
   product_id           UInt32,
   event_date           Date DEFAULT toDate(now())
) ENGINE=MergeTree(
    event_date,
    (company_id),
    8192
);

-- Очередь
CREATE TABLE IF NOT EXISTS test_db.queue (
  company_id           UInt32,
  product_id           UInt32,
  event_date           Date DEFAULT toDate(now())
) ENGINE=Kafka() SETTINGS
   kafka_broker_list = 'kafka:9092',
   kafka_topic_list = 'topic8',
   kafka_group_name = 'clickhouse',
   kafka_format = 'Protobuf',
   kafka_schema = 'test.proto:TestPayload';

-- Консьюмер
CREATE MATERIALIZED VIEW consumer TO test_db.test_table
AS (SELECT company_id, product_id, event_date FROM test_db.queue);

--
SELECT * FROM test_db.test_table;

/*Потобаф:
syntax = "proto3";

package promowidgets;

message TestPayload {
 uint32 company_id = 1;
 uint32 product_id = 2;
 uint32 event_date = 3;
}
*/
источник

מ

מיכאל in ClickHouse не тормозит
Доброго дня, пожалуйста подскажите, если я добавляю новый шард в кластер, возможно ли как нибудь сделать ребаланс данных между шардами?
источник