Size: a a a

ClickHouse не тормозит

2021 January 28

M

Mishanya in ClickHouse не тормозит
Slach
оно не удаляется, посмотрите что такое summingmergetree
и поймите в какой момент и как именно производится суммирование
в ордер бай у меня указан мой уникальный ключ. пока я нашел закономерность что значение с нуелвым вэлью пропадают
источник

S

Slach in ClickHouse не тормозит
Mishanya
в ордер бай у меня указан мой уникальный ключ. пока я нашел закономерность что значение с нуелвым вэлью пропадают
SHOW CREATE TABLE ваша таблица

покажите?
источник

M

Mishanya in ClickHouse не тормозит
Slach
SHOW CREATE TABLE ваша таблица

покажите?
CREATE TABLE my_table (
 `name` String,
 `id` UInt64,
 `amount` Int64,
 `currency` String,
 `created_at` DateTime
) ENGINE = ReplicatedSummingMergeTree(...)
ORDER BY
 (
   name,
   id,
   created_at,
   currency
 )
источник

M

Mishanya in ClickHouse не тормозит
мои все другие таблицы с миллардами записями все ок работают. я не могу понят ьв чем проблема. может синкаться что-то не успевает
источник

AB

Andrey Burov in ClickHouse не тормозит
Mishanya
я понял. короче если value 0 то оно удаляется)
Если ключ уникальный, то 0 не должен удалиться.
Если же есть ещё ключи с другими value, то они смержатся
источник

M

Mishanya in ClickHouse не тормозит
Slach
SHOW CREATE TABLE ваша таблица

покажите?
кстати
у меня только одна метрика не сходится - uniqExact(id)
в основной таблице uniqExact(user_id) например, 100
в summing таблице эта же метрика будет 80

хотя sum(amount) совпадает по обоим
источник

S

Slach in ClickHouse не тормозит
Mishanya
кстати
у меня только одна метрика не сходится - uniqExact(id)
в основной таблице uniqExact(user_id) например, 100
в summing таблице эта же метрика будет 80

хотя sum(amount) совпадает по обоим
в INSERT ... SELECT ... еще и GROUP BY есть наверное?
источник

M

Mishanya in ClickHouse не тормозит
Slach
в INSERT ... SELECT ... еще и GROUP BY есть наверное?
нет, без группировки пока что
источник

S

Slach in ClickHouse не тормозит
Mishanya
кстати
у меня только одна метрика не сходится - uniqExact(id)
в основной таблице uniqExact(user_id) например, 100
в summing таблице эта же метрика будет 80

хотя sum(amount) совпадает по обоим
id из my_table это точно user_id из другое таблицы?
источник

M

Mishanya in ClickHouse не тормозит
Slach
id из my_table это точно user_id из другое таблицы?
точно)
источник

AA

Alexander Akulov in ClickHouse не тормозит
Всем привет!
У меня есть кластер из двух серверов в реплике, я пробую выполнить SYSTEM SYNC REPLICA и на одном хосте всё проходит нормально, а на другом я получаю такую ошибку:
SYSTEM SYNC REPLICA default.test_sync
Received exception from server (version 20.8.12):
Code: 236. DB::Exception: Received from localhost:9000. DB::Exception: Log pulling is cancelled.
0 rows in set. Elapsed: 0.002 sec.

Вот тут ошибка в логе https://pastebin.com/qyjjSZY6
Есть идеи почему так происходит и как это поправить?
источник

M

Mishanya in ClickHouse не тормозит
Slach
id из my_table это точно user_id из другое таблицы?
CREATE TABLE test
     (
       user_id          UInt64,
       amount           Int64
     )
     ENGINE = SummingMergeTree()
     ORDER BY (user_id)

     select uniqExact(user_id) from my_table => 70k

     insert into test (user_id, amount) select user_id, amount from my_table

     select uniqExact(user_id) from test => 60k
источник

M

Mishanya in ClickHouse не тормозит
Mishanya
CREATE TABLE test
     (
       user_id          UInt64,
       amount           Int64
     )
     ENGINE = SummingMergeTree()
     ORDER BY (user_id)

     select uniqExact(user_id) from my_table => 70k

     insert into test (user_id, amount) select user_id, amount from my_table

     select uniqExact(user_id) from test => 60k
Если значения во всех столбцах для суммирования оказались нулевыми, то строчка удаляется.

из доки кх)
источник

M

Mishanya in ClickHouse не тормозит
Andrey Burov
Если ключ уникальный, то 0 не должен удалиться.
Если же есть ещё ключи с другими value, то они смержатся
CREATE TABLE summtt
(
   `key` UInt32,
   `value` UInt32
)
ENGINE = SummingMergeTree()
ORDER BY key

INSERT INTO summtt Values(1,1),(1,2),(2,1),(3,0)

SELECT *
FROM summtt
FINAL

┌─key─┬─value─┐
│   1 │     3 │
│   2 │     1 │
└─────┴───────┘


нашел в чем проблема, спасибо)
источник

IK

Ivan Kizimenko in ClickHouse не тормозит
При импорте в БД данных через нативный клиент, есть возможность пропустить колонки которые отсутствуют в загружаемом файле?
источник

D

David in ClickHouse не тормозит
Всем привет!

Есть воркер, который делает много запросов на чтение, большинство из которых ничего не возвращают. Заметили, что когда таблица становится большой, CPU на сервере резко взлетает. Добавил Partition By, разделив данные по часу, но спустя некоторое время CPU снова уверенно поползло вверх и держится уже несколько часов. В чем может быть причина?
Использую ENGINE = MergeTree()
источник

M

Mishanya in ClickHouse не тормозит
David
Всем привет!

Есть воркер, который делает много запросов на чтение, большинство из которых ничего не возвращают. Заметили, что когда таблица становится большой, CPU на сервере резко взлетает. Добавил Partition By, разделив данные по часу, но спустя некоторое время CPU снова уверенно поползло вверх и держится уже несколько часов. В чем может быть причина?
Использую ENGINE = MergeTree()
я думаю партишены по часу не самая лучшая идея тк это генеритт абсолютно невероятное количесттво партов) у меня есть аткая одна табличка, она почти мертва)
источник

D

David in ClickHouse не тормозит
а какая проблема иметь много частей? запросы с высокой вероятностью идут только в одну-две части.
источник

M

Mishanya in ClickHouse не тормозит
David
а какая проблема иметь много частей? запросы с высокой вероятностью идут только в одну-две части.
я не сильно эксперт, но попробую)
тк нужно читать очень много файлов.
вот вы делаете селекты за последний час, то может и все ок будет, но как только выберете за месяц, то будете страдать
да и в целом главаня идея партиционриования не для ускорения в моем понимании
источник

M

Mishanya in ClickHouse не тормозит
сколько у вас партов в таблице ?
источник