Size: a a a

ClickHouse не тормозит

2021 February 16

МБ

Максим Броня... in ClickHouse не тормозит
Всем привет. Подскажите, у CH есть прозрачное шифрование базы данных?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Nick
Это получается двойной redundancy - будет и реплика внутри replicated merge tree, и в raid10 будет дубликат данных, слишком жирно
не завидую вашим админам. Время админа стоит в разы больше чем сратые диски
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим Броня
Всем привет. Подскажите, у CH есть прозрачное шифрование базы данных?
источник

N

Nick in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
не завидую вашим админам. Время админа стоит в разы больше чем сратые диски
Может и есть в этом смысл. Спасибо, подумаем
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
у меня даже зукиперы на зеркалах из nvme , и даже спасало.
источник

BK

Brahma Kumaris in ClickHouse не тормозит
Скажите, как поднять CH, упавший в процессе переконфигурации реплик
Не стартует с ошибкой
Exception: No node, path: /clickhouse/tables/01/talegro/replicas/02/metadata: Cannot attach table mybd.talegro from metadata file /var/lib/clickhouse/st..

Что и где надо подчистить?
источник

BK

Brahma Kumaris in ClickHouse не тормозит
Менялась секция <macros>, со сменой номеров реплик на серверах
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Brahma Kumaris
Менялась секция <macros>, со сменой номеров реплик на серверах
это нельзя менять
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
>с уменьшением index_granularity меня уменьшался объём используемой памяти
чего? что? памяти используемой запросом? или сервером?

возможно ваш запрос поднимает засечки в кэш
кэш засечек это отдельная боль https://github.com/ClickHouse/ClickHouse/issues/18692#issuecomment-754334323
КХ совершенно не подходит для запросов select * from BigTable и для маленьких index_granularity
Да, я понимаю, что это знаменитое забивание гвоздей телескопом, но это можно сказать вспомогательная таблица, а запрос выполняется два раза в сутки для контроля, поэтому не думаю что критично.

Уменьшение index_granularity - это совет из документации - https://clickhouse.tech/docs/en/faq/use-cases/key-value/, вместе с этим пробую запихнуть все вспомогательные колонки в один Nested массив. Осталось научиться работать с массивами. :)
источник

МБ

Максим Броня... in ClickHouse не тормозит
спасибо
источник

BB

Bral Bral in ClickHouse не тормозит
Добрый вечер. А pushdown , применяется ли  в движке jdbc ( или в функции , Аналогично, как enable_optimize_predicate_expression, например)?


select * from jdbc('select * from table') where a = 1
источник

BK

Brahma Kumaris in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
это нельзя менять
а можно заставить КХ как-то забыть про эту таблицу? (
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Brahma Kumaris
а можно заставить КХ как-то забыть про эту таблицу? (
удалить /var/lib/clickhouse/st....sql
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
КХ хранит данные в каталоге таблицы в каталоге /data
И метаданные в /metadata/db/таблица.sql
источник

BK

Brahma Kumaris in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
КХ хранит данные в каталоге таблицы в каталоге /data
И метаданные в /metadata/db/таблица.sql
Спасибо! Помогло!
источник

DP

Dmitriy Pavlov in ClickHouse не тормозит
Всем привет!

Ищем в команду Яндекс.Облака инженера технической поддержки Clickhouse. Предстоит решать самые сложные и интересные кейсы, которые не смогла решить первая линия.
Что требуется:
- Богатый опыт эксплуатации кластера Clickhouse из двух и более нод в продуктовых средах
- Знание внутреннего устройства и возможностей Clickhouse
- Уверенное знание SQL
- Базовые знания Linux (Ubuntu, CentOS/RH)
- Грамотную речь, способность письменно донести свою мысль до коллег и заказчика

Москва. За деталями пишите в ЛС.
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Приветствую. Таблица СуммингМержТри, надо добавить колонку и включить ее в order by. А там 80 гиг.  Есть ли что-то побыстрей-проще чем создать новую и перелить туда старое?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вячеслав Владимиров
Приветствую. Таблица СуммингМержТри, надо добавить колонку и включить ее в order by. А там 80 гиг.  Есть ли что-то побыстрей-проще чем создать новую и перелить туда старое?
alter table add coumn B Int64 modify order by (A,D,C,B)

можно добавить одновременно колонку и добавить в конец order by (A,D,C,B)

в MergeTree есть ORDER BY и есть PRIMARY KEY.
они могут не совпадать

раньше PRIMARY KEY не было, был только ORDER BY.
ORDER BY набор полей задавал и устройство индекса и порядок сортировки и правило как мержить
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
затем добавили понятие PRIMARY KEY -- теперь поля PRIMARY KEY это поля индекса
индекс PRIMARY KEY поменять нельзя , order by можно наращивать и обрезать
PRIMARY KEY как бы есть всегда, это виртуальная вещь и она сама появится при modify order by
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник