G
CREATE MATERIALIZED VIEW data.mv_event ON CLUSTER clustername TO data.event AS
SELECT * FROM data.event;
SELECT * FROM data.event;
CREATE MATERIALIZED VIEW data.mv_event ON CLUSTER clustername TO data.event AS
SELECT * FROM data.event;
Size: a a a
2020 September 06
DT
Gleb
Какой движок у таблицы в которую пишет эта Mat VIEW?
И в логах можно посмотреть по сколько сообщений кафка таблицы дергают из кафки.
И в логах можно посмотреть по сколько сообщений кафка таблицы дергают из кафки.
G
Сек
G
CREATE TABLE data.local_event ON CLUSTER clustername
(
…
event_time DateTime CODEC (Delta, LZ4),
create_time DateTime CODEC (Delta, LZ4)
….
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/local_event', '{replica}', create_time)
PRIMARY KEY (……..)
ORDER BY (………..)
PARTITION BY (toYYYYMM(event_time));
CREATE TABLE data.source_event ON CLUSTER clustername AS data.local_event
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
CREATE MATERIALIZED VIEW data.mv_event ON CLUSTER clustername TO data.local_event AS
SELECT * FROM data.sourse_event;
CREATE TABLE data.mobile_event ON CLUSTER clustername AS data.local_event
ENGINE = Distributed(clustername, data, local_event, metroHash64(…));DT
Gleb
CREATE TABLE data.local_event ON CLUSTER clustername
(
…
event_time DateTime CODEC (Delta, LZ4),
create_time DateTime CODEC (Delta, LZ4)
….
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/local_event', '{replica}', create_time)
PRIMARY KEY (……..)
ORDER BY (………..)
PARTITION BY (toYYYYMM(event_time));
CREATE TABLE data.source_event ON CLUSTER clustername AS data.local_event
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
CREATE MATERIALIZED VIEW data.mv_event ON CLUSTER clustername TO data.local_event AS
SELECT * FROM data.sourse_event;
CREATE TABLE data.mobile_event ON CLUSTER clustername AS data.local_event
ENGINE = Distributed(clustername, data, local_event, metroHash64(…));А, ну вы в локальную вставляете, тогда вам уменьшать кол-во кафка таблиц не выйдет.
DC
Gleb
Подскажите
Как лучше сконфигурировать диски на кластере в 10+10 узлов ( каждый состоит из 12дисков nlsas + 2 nwme)
Как лучше сконфигурировать диски на кластере в 10+10 узлов ( каждый состоит из 12дисков nlsas + 2 nwme)
В Линукс куча решений для кеширования HDD на SSD https://serverfault.com/questions/969302/linux-ssd-as-hdd-cache
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
G
В Линукс куча решений для кеширования HDD на SSD https://serverfault.com/questions/969302/linux-ssd-as-hdd-cache
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
Нам очень поможет такое решение, как и в cloudera радикально помогло
G
Лично настраивал такой конфиг
G
В Линукс куча решений для кеширования HDD на SSD https://serverfault.com/questions/969302/linux-ssd-as-hdd-cache
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
Но на самом деле вам это не нужно. Это не поможет. Запись будет со скоростью hdd раида из-за объемов.
SSD кеш помогает oltp базам делать 10ки тысяч транзакций в сек. Для олап кмк лучше тиринг как типа ttl в кх переносить все что старше месяца на hdd
Переносить старые партиции?
G
Те писать текущий день на nwme
И по ночам переносить старую партицию на nlsas
И по ночам переносить старую партицию на nlsas
DT
Gleb
Те писать текущий день на nwme
И по ночам переносить старую партицию на nlsas
И по ночам переносить старую партицию на nlsas
Ну это может и кликхаус делать сам с помощью TTL
G
Изучу
Вот бы пример
Вот бы пример
DT
G
Отлично
G
Завтра проверю
G
Ну это может и кликхаус делать сам с помощью TTL
Ttl в моем случае потребует большой объём диска, дорого
Но на один день хватит
Но на один день хватит
DC
Gleb
Переносить старые партиции?
Нет про Линукс это flashcache и bcache это именно то что вы хотите. Вы по ссылке сходите. Это все довольно старые давно известные штуки. Это не имеет отношения к кх. Они для всего.
G
Очень благодарствую
DC
А ну и можно zfs в конце концов проверить.
G
Хорошо