Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу

2021 February 05

serge in ClickHouse не тормозит

Slach

ну и фильтровать соответсвенно
SELECT ... WHERE dictGetOrDefault('db.dict','attribute',tuple(your_field),0) = 0

Влад in ClickHouse не тормозит

Всем привет!

Пытаюсь завести clickhouse-copier для миграции данных на новые ноды.

Блоки копирует но не получается приаттачить.
В логе clickhouse-copier такое:

DB::Exception: Transaction failed (Node exists): Op #4, path: /clickhouse/tables/<table>/v2/blocks/20201217_replace_from_33251BB87614C3254BD357CDDC66D8F0. (version 21.1.3.32 (official build))

Версия clickhouse 21.1.3.32.

Что интересно, когда он это писал, мониторил содержимое znode по пути /clickhouse/tables/<table>/v2/blocks. И не увидел, что там что-то появилось.

Может это известная проблема?

источник

17:24пожаловаться #2

Egor Ivanko in ClickHouse не тормозит

Добрый день
Подскажите с запросом

Есть:

CREATE MATERIALIZED VIEW test_materialized_view
ENGINE = MergeTree
PARTITION BY a ORDER BY (a, b, c, d, e, f, g, h)

Где a, b - String
Всего строк ~500M
Разных значений a около 10
Разных значений b - 3

При этом долго выполняется запрос вида:
SELECT a, b
FROM test_materialized_view
GROUP BY a, b
ORDER BY a, b;

Можно ли ускорить такой запрос в подобной ситуации

источник

17:30пожаловаться #3

Michael M in ClickHouse не тормозит

Привет.

я верно понимаю, что вместо UPDATE-ов можно делать INSERT-ы в ReplacingMergeTree c версией больше предыдущей, а при SELECT-е выбирать строчку с максимальной версией и так получать результат последнего "апдейта"?

источник

17:40пожаловаться #4

Mishanya in ClickHouse не тормозит

Michael M

Да

источник

17:43пожаловаться #5

Munir in ClickHouse не тормозит

Egor Ivanko

Добрый день
Подскажите с запросом

Есть:

CREATE MATERIALIZED VIEW test_materialized_view
ENGINE = MergeTree
PARTITION BY a ORDER BY (a, b, c, d, e, f, g, h)

Где a, b - String
Всего строк ~500M
Разных значений a около 10
Разных значений b - 3

При этом долго выполняется запрос вида:
SELECT a, b
FROM test_materialized_view
GROUP BY a, b
ORDER BY a, b;

Можно ли ускорить такой запрос в подобной ситуации

Сделайте виртуальные целые поля (материализованное поле - хеш от строкового поля) , на них постройке таблицу и делайте группировку. Можете попробовать сначала без изменения структуры.

источник

17:43пожаловаться #6

Slach in ClickHouse не тормозит

serge

sticker.webp

(59.32 Кб)

SELECT database, name, formatReadableSize(bytes_allocated) FROM system.dictionaries

проверьте сначала после загрузки

источник

18:02пожаловаться #7

Artem Chekunov in ClickHouse не тормозит

Привет
Кто может подсказать по структуре каталогов

/data/DATABASE/TABLE/???/COLUMNS

источник

18:05пожаловаться #8

Maxim Surkiz in ClickHouse не тормозит

Привет! Есть кликхаус на нашем сервере с таблицей ~12M строк, хочу перелить данные в кх на Yandex.Cloud что бы покрутить их в DataLens. Подскажите, как это проще/правильнее сделать?

источник

18:20пожаловаться #9

Slach in ClickHouse не тормозит

Maxim Surkiz

clickhouse-client -h your_server -q "SELECT * FROM db.table FORMAT TSV" | clickhouse-client -h yandex_cloud_server -q "INSERT INTO db.table FORMAT TSV"

источник

18:34пожаловаться #10

n🐈

nikoinlove 🐈 in ClickHouse не тормозит

а можно также с древнего кх в новый перемахнуть?)

источник

18:35пожаловаться #11

Slach in ClickHouse не тормозит

nikoinlove 🐈

а можно также с древнего кх в новый перемахнуть?)

INSERT INTO db.table SELECT * FROM remote('old_server:9000',db.table)

источник

18:36пожаловаться #12

n🐈

nikoinlove 🐈 in ClickHouse не тормозит

да так небось точно сломается с разными версиями)

источник

18:38пожаловаться #13

Maxim Surkiz in ClickHouse не тормозит

Slach

INSERT INTO db.table SELECT * FROM remote('old_server:9000',db.table)

спасибо! кажется, вариант с remote предпочтительнее?

источник

18:41пожаловаться #14

Slach in ClickHouse не тормозит

nikoinlove 🐈

да так небось точно сломается с разными версиями)

протокол совместимый

источник

18:42пожаловаться #15

Slach in ClickHouse не тормозит

Maxim Surkiz

спасибо! кажется, вариант с remote предпочтительнее?

если у вас доступ до вашего clickhouse сервера из yandex cloud есть
то в целом да

еще remoteSecure смотрите

источник

18:43пожаловаться #16

Maxim Surkiz in ClickHouse не тормозит

ок, понял 👍

источник

18:44пожаловаться #17

Vladislav Filippov in ClickHouse не тормозит

Привет. А если для distributed таблицы добавить буферную, проблем каких-то быть не должно при вставке через нее?

db.table_buffer 
ENGINE = Buffer('db', 'table', .. )

db.table 
ENGINE = Distributed('{cluster}', 'db', 'table_replicated', ..)

db.table_replicated 
ENGINE = ReplicatedMergeTree('{path}/{shard}/db/table_replicated', '{replica}')

источник

21:57пожаловаться #18

Denny Crane [not a Y... in ClickHouse не тормозит

Vladislav Filippov

Привет. А если для distributed таблицы добавить буферную, проблем каких-то быть не должно при вставке через нее?

db.table_buffer 
ENGINE = Buffer('db', 'table', .. )

db.table 
ENGINE = Distributed('{cluster}', 'db', 'table_replicated', ..)

db.table_replicated 
ENGINE = ReplicatedMergeTree('{path}/{shard}/db/table_replicated', '{replica}')

так и задумано

ENGINE = Distributed('{cluster}', 'db', 'table_buffer', ..)

источник

22:27пожаловаться #19

Vladislav Filippov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

так и задумано

ENGINE = Distributed('{cluster}', 'db', 'table_buffer', ..)

не, а если не перед replicated, а именно для distributed?

источник

22:28пожаловаться #20