Size: a a a

ClickHouse не тормозит

2020 August 19

b

blkmrkt in ClickHouse не тормозит
blkmrkt
А в graphite_rollup regexp матчится против полного пути метрики или против ее суффикса отделенного точкой? И включаются ли туда графитовые теги? В доках graphitemergetree просто приведен пример <regexp>click_cost</regexp> без всяких якорей, что обычно является суффиксом метрики, поэтому и задумался.

Если прилетают графитовые метрики вроде system.resources.servicename.worker.click_cost;host=2,env=dev, то сработает ли <regexp>\.click_cost$</regexp> или следует усложнить регулярку?
Пока что вот такое монстрячество получается
источник

b

blkmrkt in ClickHouse не тормозит
В основном config.xml делаю инклюд файла с роллапами:

<?xml version="1.0"?>
<yandex>
   ...
   <include_from>/home/user/app/var/clickhouse-server/rollup.xml</include_from>
</yandex>


...а в rollup.xml указаны собственно роллапы:
<y
andex>
   <graphite_rollup>
       ...
   </graphite_rollup>
</yandex>

Но сервер не запускается:
DB::
Exception: Cannot create table from metadata file /home/user/app/var/clickhouse-server/data/metadata/graphite//data.sql, error: DB::Exception: No 'graphite_rollup' element in configuration file

Ка
к эти роллапы правильно заинклюдить то?
источник

SL

Sergey Lossev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а что в config.xml про access_control_path ?
в config.xml про access_control_path вообще ничего не оказалось
источник

KP

Klim Ponomarev in ClickHouse не тормозит
Коллеги, доброе утро! Подскажите новичку: есть time series таблица и стоит задача максимально ускорить запросы на выборку уникальных значений за разные промежутки времени, задаваемые пользователем (например за все время, либо за определённую неделю/день).
Как ускорить подобный запрос за все время (через агрегационную таблицу и mat view) я понимаю, а как быть когда временной промежуток может быть любым? Спасибо.
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Klim Ponomarev
Коллеги, доброе утро! Подскажите новичку: есть time series таблица и стоит задача максимально ускорить запросы на выборку уникальных значений за разные промежутки времени, задаваемые пользователем (например за все время, либо за определённую неделю/день).
Как ускорить подобный запрос за все время (через агрегационную таблицу и mat view) я понимаю, а как быть когда временной промежуток может быть любым? Спасибо.
Так создайте Aggregating mat view с группировок по дате и агрегацией по нужным полям
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Например у вас минимальный шаг это день, значит дату округляете до дня
источник

KP

Klim Ponomarev in ClickHouse не тормозит
Дмитрий Бережнов
Так создайте Aggregating mat view с группировок по дате и агрегацией по нужным полям
Агрегация через uniq?
источник

SK

Sergey Kolomiychuk in ClickHouse не тормозит
Добрый день. Требуется проектирование БД под проект на основе Clickhouse, может быть со связкой с другими БД(Postgresql). Опыт от 3-х лет работы с базами данных. Просьба написать в личное сообщение. Спасибо за внимание.
источник

IP

Ivan V. Protchenko in ClickHouse не тормозит
Добрый день, как правильно перенести часть данных с одного сервера на другой, структура одинаковая, разные ключи партицирования.
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Klim Ponomarev
Агрегация через uniq?
При описании столбцов, для uniq будет с постфиксом -State. Например userCount uniqState(userId)
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Ivan V. Protchenko
Добрый день, как правильно перенести часть данных с одного сервера на другой, структура одинаковая, разные ключи партицирования.
INSERT INTO table SELECT * FROM remote(...), подробности в доке
источник

IP

Ivan V. Protchenko in ClickHouse не тормозит
Дмитрий Бережнов
INSERT INTO table SELECT * FROM remote(...), подробности в доке
отлично, просто в доке сложно ориентироватся
источник

IP

Ivan V. Protchenko in ClickHouse не тормозит
недумал что есть функция remote
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Ivan V. Protchenko
отлично, просто в доке сложно ориентироватся
Один раз от начала и до конца прочтите и будет примерно понятно что вообще есть
источник

KP

Klim Ponomarev in ClickHouse не тормозит
Дмитрий Бережнов
При описании столбцов, для uniq будет с постфиксом -State. Например userCount uniqState(userId)
То есть "под капотом" ClickHouse будет понимать, что что уникальные записи за два дня не всегда равно ун. записи 1 дня + ун. записи 2 дня?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Klim Ponomarev
То есть "под капотом" ClickHouse будет понимать, что что уникальные записи за два дня не всегда равно ун. записи 1 дня + ун. записи 2 дня?
КХ будет хранит промежуточные состояния агрегатных ф-ций. И при запросе к таблице - доагрегирывать до конечного значения. Это позволит по интервалу посчитать кол-во уников, как будто запрос идёт к исходной таблицы
источник

KP

Klim Ponomarev in ClickHouse не тормозит
Дмитрий Бережнов
КХ будет хранит промежуточные состояния агрегатных ф-ций. И при запросе к таблице - доагрегирывать до конечного значения. Это позволит по интервалу посчитать кол-во уников, как будто запрос идёт к исходной таблицы
Понял, большое спасибо, буду пробовать!
источник

A

Artem in ClickHouse не тормозит
Привет. Есть ли возможность в кликхаусе использовать training mode для CODEC(ZSTD) или подключать свои словари?
источник

A

Artem in ClickHouse не тормозит
Было бы очень полезно.
источник

K

Kos in ClickHouse не тормозит
Добрый день. возник вопрос по ReplacingMergeTree
CREATE TABLE TestRMT ( EventDate Date MATERIALIZED toDate(EventTime), EventTime DateTime, Price  Int64,  id UInt32 ,ver UInt32 )
ENGINE = ReplacingMergeTree(ver)
PARTITION BY toYYYYMM(EventDate) ORDER BY  id
insert into TestRMT values   ('2020-01-01 15:00:00',100, 1,1),('2020-01-01 15:00:00',100, 2,1) ,('2020-02-02 15:00:00',200, 1,2),('2020-02-02 15:00:00',200, 2,2)

у меня новые версии строк придут в другую партицию. старые получается никогда не пропадут?
и мне всегда придется делать запрос с модификатором FINAL ?
источник