SC
можно в очередь складывать и потом оттуда большими кусками выгребать
Size: a a a
2021 January 13
SN
а этот сложный json вам нужно парсить предварительно?
SC
(редис тоже как очередь можно использовать)
SN
так-то в кх есть буфферные таблицы, и там как раз можно настроить флаш в целевую таблицу по условию "накопилось 10к элементов"
AR
добрый день. подскажите пожалуйста как это реализуется, на каких технологиях.
Есть клиентские приложения которые в случайные промежутки времени отправляют данные( сложный JSON) на сервер.
запросы от клиентов приходят в виде 1 объект в случайный промежуток времени.
момент вставки в БД предполагается определять так: "когда накопилось 10 тыс. объектов - вставь в КХ".
как и с помощью чего реализуют подобную логику ? in-memory БД а-ля Redis?
Есть клиентские приложения которые в случайные промежутки времени отправляют данные( сложный JSON) на сервер.
запросы от клиентов приходят в виде 1 объект в случайный промежуток времени.
момент вставки в БД предполагается определять так: "когда накопилось 10 тыс. объектов - вставь в КХ".
как и с помощью чего реализуют подобную логику ? in-memory БД а-ля Redis?
Очередь, может - ивент стрим (от Кафки до Флинка - смотря какой кейс) - все зависит от объема данных, ресурсов, сценариев предобработки и того, можете ли вы эти данные потерять или нет ( Редис вот не персистентый)
I
а этот сложный json вам нужно парсить предварительно?
нет . можно сформировать на клиенте готовый json для вставки в КХ(там есть какой то упрощенный формат).
буферные таблицы - посмотрю , спасибо.
а на REDIS можно такие условия писать типа "если объектов больше N тогда" - сложи все в БД?
буферные таблицы - посмотрю , спасибо.
а на REDIS можно такие условия писать типа "если объектов больше N тогда" - сложи все в БД?
AS
День добрый, есть таблица
Я не нахожу описания работы TO (https://clickhouse.tech/docs/en/engines/table-engines/special/materializedview/), в чём отличие от просто материализованной вью без TO, которая не будет никуда копировать (кроме того, что не будет наполняться ещё одна таблица)?
create table copy ( ... ) ENGINE = MergeTree ...есть материализованная вью
CREATE MATERIALIZED VIEW original TO copy ...У неё движок не указывается
Я не нахожу описания работы TO (https://clickhouse.tech/docs/en/engines/table-engines/special/materializedview/), в чём отличие от просто материализованной вью без TO, которая не будет никуда копировать (кроме того, что не будет наполняться ещё одна таблица)?
I
Очередь, может - ивент стрим (от Кафки до Флинка - смотря какой кейс) - все зависит от объема данных, ресурсов, сценариев предобработки и того, можете ли вы эти данные потерять или нет ( Редис вот не персистентый)
с этими технологиями знаком только в общих чертах.
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
SC
с этими технологиями знаком только в общих чертах.
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
ну если так мало вставок, можно сразу в кх вставлять и не мучаться
I
ну если так мало вставок, можно сразу в кх вставлять и не мучаться
единичными по пару кб и пофиг?)
SC
ну они же не 100 рпс в секунду
SC
или так тоже бывает?
D
у нас вообще одно время собирались метрики с софта вебсервисом и писались в json-файлы (немного, по тыще в час от силы), а раз в 10 минут приходил обработчик, парсил, пачкой вставлял в CH и удалял обработанные файлы
I
или так тоже бывает?
неа. ну 100 в минуту максимум. время прихода рандомное, варьируется в некоторых пределах.
OG
единичными по пару кб и пофиг?)
Возьмите clickhouse-bulk
OG
И просто вставляйте через него
DZ
Заранее извиняюсь за тупой вопрос, но может кто подкажет почему не работает задание партиции через выражение? Пытаюсь сделать как в документации - "ALTER TABLE default.t1 DROP PARTITION toYYYYMM(now() - INTERVAL 3 month)" - получаю "Syntax error: failed at position 79 (end of query): Expected one of: LIKE, GLOBAL NOT IN, IS, OR, QuestionMark, BETWEEN, NOT LIKE, AND, IN, ILIKE, NOT ILIKE, NOT, token, NOT IN, GLOBAL IN"
DZ
талица PARTITION BY toYYYYMM(Date)
I
у нас вообще одно время собирались метрики с софта вебсервисом и писались в json-файлы (немного, по тыще в час от силы), а раз в 10 минут приходил обработчик, парсил, пачкой вставлял в CH и удалял обработанные файлы
так то понятно). а потом что сделали?