DT
Xor
тут косяк получается в том, что мне нужна гарантированная запись (БД должна сказать, что таки да записано и я отправляю пакет дальше), а в случае с очередью мне никто не скажет дошли данные или нет
очередь тоже может быть персистентной
Size: a a a
2020 September 22
X
Но вообще они на любителя и желательно ими не пользоваться в новых версиях кх от них скорее будут отказываться в пользу in-memory партов
а можно ссылку на доку по in-memory партам? я бы хотел сказать, что последний парт - всегда должен быть in-memory.
X
очередь тоже может быть персистентной
что добавит ещё больше головной боли
X
Но вообще они на любителя и желательно ими не пользоваться в новых версиях кх от них скорее будут отказываться в пользу in-memory партов
buffer - то что нужно :) 0.65 секунды на 900 ивентов
X
большое спасибо
DT
Xor
а можно ссылку на доку по in-memory партам? я бы хотел сказать, что последний парт - всегда должен быть in-memory.
https://github.com/ClickHouse/ClickHouse/commit/66e31d4311507350f8a08c30f34980e016cf7d2d
В доках нету пока еще оно только допиливается до живого состояния
https://github.com/ClickHouse/ClickHouse/pull/10697
В доках нету пока еще оно только допиливается до живого состояния
https://github.com/ClickHouse/ClickHouse/pull/10697
X
тогда ждём-с, а пока что слава buffer'у :) спасибо ещё раз за помощь
S
Подскажите, как лучше хранить ключ = значение и иметь возможность искать по ним.
DT
Slawka
Подскажите, как лучше хранить ключ = значение и иметь возможность искать по ним.
А какой объем этих ключей значений? а так Dictionary
S
на одну запись 30 ключей, ключи и значения не постоянны
S
До 1000 записей в минуту
Э
CREATE TABLE logs (
`created_datetime` DateTime DEFAULT now(),
`event_datetime` DateTime,
) ENGINE = MergeTree PARTITION BY toYYYYMM(event_datetime)
ORDER BY
(event_datetime, msisdn) TTL event_datetime + toIntervalWeek(1)
Создавал таблицу так, надежде что запись удалится течении недели.
Прошла неделя но записи не удаляются.
Например есть записи на datetime
2020-09-15 20:52:37
В чем может быть косяк?
DC
Slawka
Подскажите, как лучше хранить ключ = значение и иметь возможность искать по ним.
в кассандре
S
CREATE TABLE logs (
`created_datetime` DateTime DEFAULT now(),
`event_datetime` DateTime,
) ENGINE = MergeTree PARTITION BY toYYYYMM(event_datetime)
ORDER BY
(event_datetime, msisdn) TTL event_datetime + toIntervalWeek(1)
Создавал таблицу так, надежде что запись удалится течении недели.
Прошла неделя но записи не удаляются.
Например есть записи на datetime
2020-09-15 20:52:37
В чем может быть косяк?
записи удаляются если есть операция MERGE
она есть тогда когда новые данные вставляются и по таймауте
попробуй таймаут меньше сделать
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
merge_with_ttl_timeout — Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
это в <yandex><merge_tree> ... в /config.d/ надо по идее прописать
она есть тогда когда новые данные вставляются и по таймауте
select * from system.merges
попробуй таймаут меньше сделать
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
merge_with_ttl_timeout — Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
это в <yandex><merge_tree> ... в /config.d/ надо по идее прописать
DG
Доброй ночи.
Вопрос не совсем по кликхаусу, но. Как доставляете десять тысяч кликхаусовых записей в секунду из Америки в Европу или наоборот? С какими-никакими гарантиями и без минутных задержек.
Вопрос не совсем по кликхаусу, но. Как доставляете десять тысяч кликхаусовых записей в секунду из Америки в Европу или наоборот? С какими-никакими гарантиями и без минутных задержек.
2020 September 23
ДБ
У меня например filebeat'тьі собирают логи и кидают в логстеши, которьіе через кролей прилетают в логстеши (схема от elk осталась) которьіе логи обрабатуют и параллельно кидают в elastic и clickhouse, задержка пару секунд бьівает. Но в єтой схеме большой овер по ремурсам
ДБ
Єто приватньій cdn с серваками по миру
VN
А если кидать в кролика, а того воткнуть в кх через engine=rabbitMQ?
DG
А если кидать в кролика, а того воткнуть в кх через engine=rabbitMQ?
Ну вот я думаю в сторону кролика или кафки, но хотел услышать пару мнений. Кто как справлялся.