D
но эт от случая к случаю
Size: a a a
2020 July 14
A
а сам апп на ГО может буферизовать? тогда не нужен вам буфер будет совсем...
Да там и инмемори БД есть, но не хотел перегружать, точнее голова кругом)), хотелось стандартные средства использовать
M
Ага, попробую с ZSTD. И ещё такой тогда вопрос - не испортит ли производительность запросов если применять сжатие к колонкам, которые в индексе используются
DT
Ага, попробую с ZSTD. И ещё такой тогда вопрос - не испортит ли производительность запросов если применять сжатие к колонкам, которые в индексе используются
индекс всегда в оперативной памяти
D
Да там и инмемори БД есть, но не хотел перегружать, точнее голова кругом)), хотелось стандартные средства использовать
делайте в аппе, дополнительная потенциальная точка падения чисто из-за буфера - перебор
M
индекс всегда в оперативной памяти
принял, спасибо
A
делайте в аппе, дополнительная потенциальная точка падения чисто из-за буфера - перебор
Надо подумать как обрабатывать запрос на выборку... хотя 2 минуты не критичны, получатели получат с опазданием, подумаю спасибо
DC
а компрессор lz4 есть смысл указывать? Сделал CODEC(T64, LZ4) и сжатые данные показывает даже больше чем когда кодек не применён. Смотрю на колонке Int32
это возможно, особенно с T64, cам T64-то помог?
D
обычно в таких случаях делают запрос в олтп базу/стрим + в аналитическую базу
DC
LZ4 default
если CODEC использован то нет компресии , CODEC(delta) будут дельты, CODEC(delta,lz4) дельты пожатые lz4
DC
Ага, попробую с ZSTD. И ещё такой тогда вопрос - не испортит ли производительность запросов если применять сжатие к колонкам, которые в индексе используются
не испортит, в индексе кажется нет компрессии и он разреженный
M
спасибо за ответы
D
если CODEC использован то нет компресии , CODEC(delta) будут дельты, CODEC(delta,lz4) дельты пожатые lz4
да, имелось ввиду в контексте "больше чем когда кодек не применён"
D
спасибо за ответы
сделайте тест, ради кармы, поделитесь )
D
спасибо за ответы
тип такого https://t.me/clickhouse_ru/163317
M
сложно судить сразу, я потому и спросить решил чтобы сэкономить немного времени на заведомо неправильные варианты, у меня SummingMergeTree, после инсертов в таблицу ещё не мало времени бывает пройдёт прежде чем КХ пожмёт там всё и доагрегирует) Gorilla на слайде это хорошо, но у меня 135 колонок интов и несколько строк - я тут только T64 пока пробую, других вариантов не нашёл
A
делайте в аппе, дополнительная потенциальная точка падения чисто из-за буфера - перебор
Что вы имели ввиду под точкой падения? Случалось?
D
Что вы имели ввиду под точкой падения? Случалось?
имел ввиду, если допилите ещё и киттенхаус или кхпрокси посерединке, то получите ещё одну потенциальную точку падения
а вообще конечно все относительно, просто у вас очень специфичная мелкая проблема - которую можно очень просто решить на стороне приложения
а вообще конечно все относительно, просто у вас очень специфичная мелкая проблема - которую можно очень просто решить на стороне приложения
A
имел ввиду, если допилите ещё и киттенхаус или кхпрокси посерединке, то получите ещё одну потенциальную точку падения
а вообще конечно все относительно, просто у вас очень специфичная мелкая проблема - которую можно очень просто решить на стороне приложения
а вообще конечно все относительно, просто у вас очень специфичная мелкая проблема - которую можно очень просто решить на стороне приложения
Согласен, уже подумал и завтра попробую реализовать на стороне приложения, там есть на вскидку не приятные вопросы - такие как гарантированная запись. Пока не могу понять почему движек Buffer нужно менять на чтото свое
D
Согласен, уже подумал и завтра попробую реализовать на стороне приложения, там есть на вскидку не приятные вопросы - такие как гарантированная запись. Пока не могу понять почему движек Buffer нужно менять на чтото свое
ну буфер просто ровно так же ничего не гарантирует )