DC
В видео митапа от 1октября или даже в прошлом апреле Алексей показывал
Size: a a a
2021 March 21
MM
я смотрю, что если поудалять данные в старых больших таблицах, то они тоже могут превратиться в компактные...
MM
Сделал сейчас
и половина из таблиц стала иметь компактный формат.
ALTER TABLE system.metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.trace_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.asynchronous_metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_thread_log MODIFY TTL event_time + INTERVAL 1 HOUR;
OPTIMIZE TABLE system.metric_log FINAL;
OPTIMIZE TABLE system.trace_log FINAL;
OPTIMIZE TABLE system.query_log FINAL;
OPTIMIZE TABLE system.asynchronous_metric_log FINAL;
OPTIMIZE TABLE system.query_thread_log FINAL;
и половина из таблиц стала иметь компактный формат.
D
Сделал сейчас
и половина из таблиц стала иметь компактный формат.
ALTER TABLE system.metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.trace_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.asynchronous_metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_thread_log MODIFY TTL event_time + INTERVAL 1 HOUR;
OPTIMIZE TABLE system.metric_log FINAL;
OPTIMIZE TABLE system.trace_log FINAL;
OPTIMIZE TABLE system.query_log FINAL;
OPTIMIZE TABLE system.asynchronous_metric_log FINAL;
OPTIMIZE TABLE system.query_thread_log FINAL;
и половина из таблиц стала иметь компактный формат.
формат определяется колвом строк-байт в созданном парте после мерджа/вставки
SC
Сделал сейчас
и половина из таблиц стала иметь компактный формат.
ALTER TABLE system.metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.trace_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.asynchronous_metric_log MODIFY TTL event_time + INTERVAL 1 HOUR;
ALTER TABLE system.query_thread_log MODIFY TTL event_time + INTERVAL 1 HOUR;
OPTIMIZE TABLE system.metric_log FINAL;
OPTIMIZE TABLE system.trace_log FINAL;
OPTIMIZE TABLE system.query_log FINAL;
OPTIMIZE TABLE system.asynchronous_metric_log FINAL;
OPTIMIZE TABLE system.query_thread_log FINAL;
и половина из таблиц стала иметь компактный формат.
вот тут про компактные куски: https://youtu.be/1LVJ_WcLgF8?t=10971
MM
вот тут про компактные куски: https://youtu.be/1LVJ_WcLgF8?t=10971
Спасибо!
DC
Как раз мержи кажется не должны продьюсить комп. парты. Был такой pr
MM
кстати, может компактный формат будет быстрее на чтение, если выбираются все столбцы...
MM
а при index_granularity = 1 выходит построчный формат хранения данных.
DC
а при index_granularity = 1 выходит построчный формат хранения данных.
В кх есть движок таблиц embeddedRocksdb его берите. Зачем извращения.
MM
В кх есть движок таблиц embeddedRocksdb его берите. Зачем извращения.
не знал про него. почитаю сейчас. Спасибо!
IG
Добрый вечер, как в CH можно [случайно] добиться дублирования данных? Вроде как можно вставлять данные через Distributed таблицу над Replicated c internal_replication false, да? Есть еще "популярные" способы?
DT
Добрый вечер, как в CH можно [случайно] добиться дублирования данных? Вроде как можно вставлять данные через Distributed таблицу над Replicated c internal_replication false, да? Есть еще "популярные" способы?
Nested Materialized View
IG
Nested Materialized View
Не гуглится. Это про nested структуры или про каскадирование?
DT
Не гуглится. Это про nested структуры или про каскадирование?
про каскадирование, а точнее даже ситуации когда несколько мв висят на одной таблице.
IG
Да, это понятный вариант, спасибо.
Можно добиться дублирования странным описанием кластера и/или путями в ZK?
Можно добиться дублирования странным описанием кластера и/или путями в ZK?
DC
про каскадирование, а точнее даже ситуации когда несколько мв висят на одной таблице.
Это скорее про потерю а не про дубли
DC
Да, это понятный вариант, спасибо.
Можно добиться дублирования странным описанием кластера и/или путями в ZK?
Можно добиться дублирования странным описанием кластера и/или путями в ZK?
Можно описать реплики как шарды и тогда distributed будет выдавать все по два
DT
Это скорее про потерю а не про дубли
Хм, да
дубли будут в случае комбинации MV и кафки как источника,
тк потенциально блоки читаемые при ретрае из кафки могут менятся
дубли будут в случае комбинации MV и кафки как источника,
тк потенциально блоки читаемые при ретрае из кафки могут менятся
IG
Да, реплики как шарды понятно, спасибо.