I
Oleg Gavrilov
Возьмите clickhouse-bulk
спасибо, посмотрю
Size: a a a
2021 January 13
D
так то понятно). а потом что сделали?
перешли на prometheus и графану :)
D
там изменился подход и количество метрик
AC
с этими технологиями знаком только в общих чертах.
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?)
Это 30 инсертов в секунду, мелочь, можете не парится
D
но вышеуказаный подход работал как часы года два
AC
Это 30 инсертов в секунду, мелочь, можете не парится
Можете взять буффер кх в добавок, если диск такой слабый итд
AC
Но я бы даже не парился на счет такой мелочи, как 30 вставок в секунду
I
Но я бы даже не парился на счет такой мелочи, как 30 вставок в секунду
а как же рекомендации в доке КХ?) я вот начитался теперь тут вроде как дурацкие вопросы задаю..
AC
а как же рекомендации в доке КХ?) я вот начитался теперь тут вроде как дурацкие вопросы задаю..
Какие ?
I
Какие ?
вставлять данные большими пачками.
AC
вставлять данные большими пачками.
1. Это не про вас, у вас таких данных тупо нет
2. Я же написал, если хотите вариант по лучше берете буффер кх
2. Я же написал, если хотите вариант по лучше берете буффер кх
AC
Но я бы просто забил
I
1. Это не про вас, у вас таких данных тупо нет
2. Я же написал, если хотите вариант по лучше берете буффер кх
2. Я же написал, если хотите вариант по лучше берете буффер кх
забить это то могем. спасибо всем за советы.
SC
буффер не очень надёжен, он до вставки в таблицу просто в памяти хранит данные
AC
забить это то могем. спасибо всем за советы.
Велком, когда данных станет больше, просто буффер цепляете и все, а когда будет не хватать, можете уже аля брокер подцепить типо кафки и читать с нее через кафка энджин
AC
буффер не очень надёжен, он до вставки в таблицу просто в памяти хранит данные
Ну тут зависит от требований системы, конечно есть шанс потерять данные, если это баковские данные или баланс то да, буффер не советую
AC
Но обычно, раз в год потерять 10 записей, не критично
AC
А если критично, берете кафку и вперед
I
все спасибо вопрос закрыт) пойду изучать,
логика пока такая "забить" - "если плохо" - "буфер" - "если плохо" - серъезные технологии.
логика пока такая "забить" - "если плохо" - "буфер" - "если плохо" - серъезные технологии.
DZ
Заранее извиняюсь за тупой вопрос, но может кто подкажет почему не работает задание партиции через выражение? Пытаюсь сделать как в документации - "ALTER TABLE default.t1 DROP PARTITION toYYYYMM(now() - INTERVAL 3 month)" - получаю "Syntax error: failed at position 79 (end of query): Expected one of: LIKE, GLOBAL NOT IN, IS, OR, QuestionMark, BETWEEN, NOT LIKE, AND, IN, ILIKE, NOT ILIKE, NOT, token, NOT IN, GLOBAL IN"
Отвечаю сам себе. 🙂 Это потому что https://github.com/ClickHouse/ClickHouse/issues/10212 - обернуть все в tuple() помогает.