Телеграмм чат группы clickhouse_ru страница 9340

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4851 membersпожаловаться на группу

2021 February 20

В

Виктор in ClickHouse не тормозит

Добрый день. Подскажите пожалуйста: в каком порядке лучше расположить поля в order by

host - хост машины с которой прилетел лог (~ 100 вариантов)
http_host - заголовок Host (~ 50000 вариантов)
datetime - время лога

Партиции по datetime

Сейчас такой порядок: host, http_host, datetime

источник

12:24пожаловаться #1

K

KiLEX 萊赫 in ClickHouse не тормозит

смотря какие выборки делаете

источник

12:24пожаловаться #2

DT

Dmitry Titov in ClickHouse не тормозит

Добрый день. Подскажите пожалуйста: в каком порядке лучше расположить поля в order by

host - хост машины с которой прилетел лог (~ 100 вариантов)
http_host - заголовок Host (~ 50000 вариантов)
datetime - время лога

Партиции по datetime

Сейчас такой порядок: host, http_host, datetime

В целом адекватно, как еще один вариант

toDate(datetime), host, http_host, datetime

источник

12:25пожаловаться #3

DT

Dmitry Titov in ClickHouse не тормозит

Если у вас много запросов за 1-7 дней

источник

12:25пожаловаться #4

M

Mishanya in ClickHouse не тормозит

Добрый день. Подскажите пожалуйста: в каком порядке лучше расположить поля в order by

host - хост машины с которой прилетел лог (~ 100 вариантов)
http_host - заголовок Host (~ 50000 вариантов)
datetime - время лога

Партиции по datetime

Сейчас такой порядок: host, http_host, datetime

обычно указывают от более уникальных к менее уникальным стоблцам (от низкой к высокой кардинальности)

источник

12:26пожаловаться #5

В

Виктор in ClickHouse не тормозит

Если у вас много запросов за 1-7 дней

А если за месяц выборки обычно? Поможет ли это ускорить выборку?

источник

12:26пожаловаться #6

DT

Dmitry Titov in ClickHouse не тормозит

А если за месяц выборки обычно? Поможет ли это ускорить выборку?

Ну если большинство запросов за месяц+, то нет лучше не станет

источник

12:27пожаловаться #7

В

Виктор in ClickHouse не тормозит

Понял, спасибо всем за ответы

источник

12:27пожаловаться #8

M

Mishanya in ClickHouse не тормозит

если у вас партиции по dateitime, имеет ли большой смысл указывать вообще в ключе сортиовки его ?

источник

12:28пожаловаться #9

K

KiLEX 萊赫 in ClickHouse не тормозит

В целом адекватно, как еще один вариант

toDate(datetime), host, http_host, datetime

а в чем смысл в ключ сортировки добавлять datetime если выборки идут ~ по всей партиции все равно

источник

12:28пожаловаться #10

DT

Dmitry Titov in ClickHouse не тормозит

если у вас партиции по dateitime, имеет ли большой смысл указывать вообще в ключе сортиовки его ?

Да, смысл большй на самом деле, начиная от того что тк рядом более похожие записи-> лучше сжатие

источник

12:28пожаловаться #11

K

KiLEX 萊赫 in ClickHouse не тормозит

Да, смысл большй на самом деле, начиная от того что тк рядом более похожие записи-> лучше сжатие

codec DoubleDelta решает этот вопрос

источник

12:29пожаловаться #12

M

Mishanya in ClickHouse не тормозит

Да, смысл большй на самом деле, начиная от того что тк рядом более похожие записи-> лучше сжатие

А можно попросить пояснить ?
прост в моем понимании если выборки по datetime, то сильно по перформансу не получится выиграть, тк прунинг по партиции же

источник

12:29пожаловаться #13

M

Mishanya in ClickHouse не тормозит

все равно +- то же самое читать

источник

12:29пожаловаться #14

K

KiLEX 萊赫 in ClickHouse не тормозит

А можно попросить пояснить ?
прост в моем понимании если выборки по datetime, то сильно по перформансу не получится выиграть, тк прунинг по партиции же

у меня такие же наблюдения, но очень интнресны контраргументы

источник

12:29пожаловаться #15

DT

Dmitry Titov in ClickHouse не тормозит

codec DoubleDelta решает этот вопрос

Решает только в том случае. если таймстемпы отсортирован, и вообще Delta обычно лучше

источник

12:29пожаловаться #16

В

Виктор in ClickHouse не тормозит

А где про кодеки почитать? Первый раз их вижу

источник

12:30пожаловаться #17

K

KiLEX 萊赫 in ClickHouse не тормозит

Решает только в том случае. если таймстемпы отсортирован, и вообще Delta обычно лучше

по моим наблюдениям дубльдельта сильно лучше оказался как раз на несортированных данных

источник

12:30пожаловаться #18

K

KiLEX 萊赫 in ClickHouse не тормозит

А где про кодеки почитать? Первый раз их вижу

https://clickhouse.tech/docs/ru/sql-reference/statements/create/table/#codecs

clickhouse.tech

Таблица | Документация ClickHouse

CREATE TABLE Запрос CREATE TABLE может иметь несколько форм. CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cl

источник

12:30пожаловаться #19

M

Mishanya in ClickHouse не тормозит

возможно, я понял вашу идею, но зачем добавлять время в ключ сортировки в самое начало ? если добавить его в конце будет побольше профита же

источник

12:31пожаловаться #20