Добрый день! Подскажите, есть ли способ как-то красиво бэкапить таблицы, которые заполняются из кафки? В частности, чтобы после разворачивания бэкапа кх продолжил читать топик с того оффсета, на котором был сделан бэкап

Спасибо

Уффф намучился.

Сделал так

CREATE TABLE metrics.nginx
(
    RemoteAddr String,
    RemoteUser String,
    TimeLocal DateTime,
    Date Date DEFAULT toDate(TimeLocal),
    Request String,
    RequestMethod String,
    Status Int32,
    BytesSent Int64,
    HttpReferer String,
    HttpUserAgent String,
    RequestTime Float32,
    UpstreamConnectTime Float32,
    UpstreamHeaderTime Float32,
    UpstreamResponseTime Float32,
    Https FixedString(2),
    ConnectionsWaiting Int64,
    ConnectionsActive Int64
) ENGINE = MergeTree() 
ORDER BY Status
PARTITION Date 
SETTINGS index_granularity=8192

Выполняю и снова ошибки. В мануале написано как создавать таблицы https://clickhouse.tech/docs/ru/sql-reference/statements/create/table/ Делаю так же. Что же не так?

Делаю копипаст и уже на первой строке ошибка: Expected one of: storage definition, ENGINE, AS, UUID, OpeningRoundBracket, ON, Dot, token

В чем здесь  исключение, если в документации черным по белому CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]

вот вам пример

CREATE TABLE rocket.events
(
    `ticker` LowCardinality(String),
    `type` LowCardinality(String),
    `ts` DateTime,
    `tz` LowCardinality(String),
    `low` Float64,
    `high` Float64,
    `open` Float64,
    `close` Float64,
    `adj_close` Float64,
    `volume` Float64,
    `frequency` LowCardinality(String),
    `source` LowCardinality(String),
    `model_id` Int16,
    `prediction_id` Int64,
    `created` DateTime DEFAULT now()
)
ENGINE = ReplacingMergeTree(created)
PARTITION BY toYYYYMM(ts)
ORDER BY (toDate(ts), ticker, type, frequency, tz, model_id, prediction_id, ts)
SETTINGS index_granularity = 8192

CREATE TABLE rocket.events
(
    `ticker` LowCardinality(String),
    `type` LowCardinality(String),
    `ts` DateTime,
    `tz` LowCardinality(String),
    `low` Float64,
    `high` Float64,
    `open` Float64,
    `close` Float64,
    `adj_close` Float64,
    `volume` Float64,
    `frequency` LowCardinality(String),
    `source` LowCardinality(String),
    `model_id` Int16,
    `prediction_id` Int64,
    `created` DateTime DEFAULT now()
)
ENGINE = ReplacingMergeTree(created)
PARTITION BY toYYYYMM(ts)
ORDER BY (toDate(ts), ticker, type, frequency, tz, model_id, prediction_id, ts)
SETTINGS index_granularity = 8192

Спасибо. А то гуглю примеры и везде устаревший синтаксис

у вас проблема со вставкой в терминал

клиент думает (внезапно) что запрос закончен по переводу строки.

Видимо так. Даже пример от Edya не работает

говно ваш centos

попробуйте clickhouse-client -m

>ORDER BY Status PARTITION Date
за вот такие советы новичку надо больно и мучительно бить по пальцам

Спасибо! С m вставляется. Надо погуглить, что за m

делайте

вот такое партиционирование

PARTITION BY toYYYYMM(Date)
ORDER BY (Status, Date)

-m [ --multiline ]                                               multiline

И еще раз большое спасибо )

Создал таблицу )

нет, КХ такого не умеет.
это  надо делать просто кафкой, ее тулзы позволяют посмотреть текущий закомиченный офсет и передвинуть его
смотрим чиселки, записываем в блокнот, позже просто передвигаем куда надо

Так и делаем, пришлось хранить офсет в бэкапе - я так понимаю, кафка энждин сам не сохраняет в кх офсет?

эээ так ему же нельзя.

т.е. если консумеров несколько, то они должны делать это координовано, поэтому КХ использует средства кафки (автоматическое выделение партций , ребаланс), и двигает комит офсет.