DT
по моим наблюдениям дубльдельта сильно лучше оказался как раз на несортированных данных
А если их отсортировать?
Size: a a a
2021 February 20
DT
А где про кодеки почитать? Первый раз их вижу
K
А если их отсортировать?
а вот это не пробовал))) поэтому и хочу аргументы услышать
В
У меня по умолчанию сервер настроен на zstd, для datetime имеет смысл указать codec(delta,zstd)?
K
возможно, я понял вашу идею, но зачем добавлять время в ключ сортировки в самое начало ? если добавить его в конце будет побольше профита же
там в начало добавляется дата, что мне показалось даже неплохой идеей если выборки идут за несколько дней а партиции по месяцам
DT
У меня по умолчанию сервер настроен на zstd, для datetime имеет смысл указать codec(delta,zstd)?
Delta не сжимает, сжимает именно ZSTD дельта это скажем так encoding
K
У меня по умолчанию сервер настроен на zstd, для datetime имеет смысл указать codec(delta,zstd)?
при комбинировании DoubleDelta с сжимальщиками я результата не увидел (меньше не стало) а выборки стали медленнее
K
я пробовал
(ZSTD)(DoubleDelta, ZSTD)(Delta, ZSTD)(DoubleDelta)DT
возможно, я понял вашу идею, но зачем добавлять время в ключ сортировки в самое начало ? если добавить его в конце будет побольше профита же
В начало мы добавляем не сам таймстамп, а дату из него, допустим у вас часто идут запросы за последние 7 дней, но кардинальность host,http_host слишком большая и кликхаус не сможет использовать timestamp в конце ORDER BY для того что бы выбрать гранулы относящиеся к временному промежутку
M
там в начало добавляется дата, что мне показалось даже неплохой идеей если выборки идут за несколько дней а партиции по месяцам
ну кстати да, возможно так лучше)
K
ну кстати да, возможно так лучше)
я даже попробую. @unamedrus спасибо за идею!
В
В начало мы добавляем не сам таймстамп, а дату из него, допустим у вас часто идут запросы за последние 7 дней, но кардинальность host,http_host слишком большая и кликхаус не сможет использовать timestamp в конце ORDER BY для того что бы выбрать гранулы относящиеся к временному промежутку
Это кстати даст профит, если подключить КХ к графане, там обычно за последний день максимум выборка
M
В начало мы добавляем не сам таймстамп, а дату из него, допустим у вас часто идут запросы за последние 7 дней, но кардинальность host,http_host слишком большая и кликхаус не сможет использовать timestamp в конце ORDER BY для того что бы выбрать гранулы относящиеся к временному промежутку
я так понимаю, это если использовать выборки, если ВСЕГДА есть дата. А вот когда нужно будет выбрать where host = ‘qwe’ то будут вопросы, верно ?
DT
Только не забывайте что если у вас кардинальность host, http_... невысокая. то кх ровно аналогичным образом сможет использовать timestamp в конце ордер бай для отсечения гранул
DT
я так понимаю, это если использовать выборки, если ВСЕГДА есть дата. А вот когда нужно будет выбрать where host = ‘qwe’ то будут вопросы, верно ?
кардинальность дат небольшая, так что кх сможет использовать вторую колонку из ORDER BY достаточно эффективно
M
кардинальность дат небольшая, так что кх сможет использовать вторую колонку из ORDER BY достаточно эффективно
мы говорим про datetime, но не date. Кардинальности datetime очень высока же
DT
И да, если вы используете ORDER BY toDate(ts), host, ...., ts то, в запросе вам нужно будет писать WHERE toDate(ts) > toDate('some_date_time') AND ts > some_date_time
DT
мы говорим про datetime, но не date. Кардинальности datetime очень высока же
речь идет когда у нас ORDER BY toDate(ts), host, ..., ts
M
речь идет когда у нас ORDER BY toDate(ts), host, ..., ts
Да, тут понятно, почему будет лучше, спасибо!
а если взять кейс, про дейтайм, в начала сувать его не оч хорошо ведь, верно ?
а если взять кейс, про дейтайм, в начала сувать его не оч хорошо ведь, верно ?
DT
Да, тут понятно, почему будет лучше, спасибо!
а если взять кейс, про дейтайм, в начала сувать его не оч хорошо ведь, верно ?
а если взять кейс, про дейтайм, в начала сувать его не оч хорошо ведь, верно ?
Задачи разные, в некоторых случаях это может быть оправдано
Надо понимать зачем что то было сделано :)
Надо понимать зачем что то было сделано :)