DC
Какой более правильный вариант, если по click_id почти искать не будем. ORDER BY (datetime, click_id) ?
ORDER BY (toStartOfDay(datetime), click_id)
исправлено, нет вам толку класть ID в индекс
https://t.me/clickhouse_ru/204766
Size: a a a
2021 February 16
IR
Я написал, чуть выше у меня CollapsingMergeTree, и если его не класть, то данные схлопнутся
IR
ORDER BY (toStartOfDay(datetime), click_id)
Спасибо.
D
Спасибо.
тогда так
ORDER BY (toStartOfDay(datetime), click_id, datetime)
ORDER BY (toStartOfDay(datetime), click_id, datetime)
D
а то пересхлопываете нужные...
IR
тогда так
ORDER BY (toStartOfDay(datetime), click_id, datetime)
ORDER BY (toStartOfDay(datetime), click_id, datetime)
если не сложно можете пояснить, почему два раза дату? click_id уникален в моем случае.
DC
Можно удалять записи из мат вью таким образом?
ALTER TABLE default.table_mv DELETE WHERE 1=1;
да
D
если не сложно можете пояснить, почему два раза дату? click_id уникален в моем случае.
запросы по клик-ид будут "сносно" работать, но по дате чуть медленнее чем в (datetime, click_id)
AS
да, я херню сказал.
точнее надо говорить так: польза будет если у вас на один таймстемп много ИД (например 20-100 тыс).
так что в вашем случае пользы НЕ будет, кроме разве что потенциально компрессии других данных + запросы с order by/limit, но это копейки.
если будете индекс делать toDate(datetime), id - запросы к ИД будут быстрее, но запросы надо писать как toDate(datetime)=toDate(xxx), либо можно до часов округлять... но это все замедлит запросы к дате.
точнее надо говорить так: польза будет если у вас на один таймстемп много ИД (например 20-100 тыс).
так что в вашем случае пользы НЕ будет, кроме разве что потенциально компрессии других данных + запросы с order by/limit, но это копейки.
если будете индекс делать toDate(datetime), id - запросы к ИД будут быстрее, но запросы надо писать как toDate(datetime)=toDate(xxx), либо можно до часов округлять... но это все замедлит запросы к дате.
Спасибо большое за разъяснения и бонусный пример. :)
D
если не сложно можете пояснить, почему два раза дату? click_id уникален в моем случае.
сорри, если click_id глобально уникален - берите от Денни, последний datetime не нужен, он для уникальности
DC
если не сложно можете пояснить, почему два раза дату? click_id уникален в моем случае.
два раза тоже можно 🙂 и нужно иногда, но здесь просто опечатка, задний datetime не нужен
AS
Так у меня же CollapsingMergeTree, если я не укажу click_id он просто все склеит у меня
Да, вам он важен, а мои вопросы были больше по теории сортировки и индексов.
IR
Еще раз всем спасибо, пойду тестировать. 👍
DC
Да, вам он важен, а мои вопросы были больше по теории сортировки и индексов.
важно понять что все записи во всех партах во всех колонках отсортированы в этом порядке
поэто мерж ничего не сортирует
малокардинальные поля вначале индекса (toStartOfDay(datetime) = 30 значений в партиции) позволяют делать как бы fast-full-index-scan в терминах оракла и использовать задние поля без передних
toDate(datetime) -- экономит память, datetime 32 бита, date 16 бит
поэто мерж ничего не сортирует
малокардинальные поля вначале индекса (toStartOfDay(datetime) = 30 значений в партиции) позволяют делать как бы fast-full-index-scan в терминах оракла и использовать задние поля без передних
toDate(datetime) -- экономит память, datetime 32 бита, date 16 бит
DC
Еще раз всем спасибо, пойду тестировать. 👍
кстати попробуйте
ORDER BY (toDate(datetime), click_id)
toDate(datetime) -- экономит память, datetime 32 бита, date 16 бит
индекс в озу целиком всегда
ORDER BY (toDate(datetime), click_id)
toDate(datetime) -- экономит память, datetime 32 бита, date 16 бит
индекс в озу целиком всегда
IR
ок, попробую. спасибо.
OM
Всем привет!
Вопрос для тех, кто пользуется clickhouse-jdbc-bridge
Добавил свой datasource
{
"$schema":"path/datasource.jschema",
"postgre_test": {
"driverUrls": [
"path/postgresql-9.4.1212.jre6.jar"
],
"driverClassName": "org.postgresql.Driver",
"jdbcUrl": "",
"username": "",
"password": ""
}
}
При запуске кидает warning: Registered driver with driverClassName=org.postgresql.Driver was not found, trying direct instantiation.
Я так понимаю, что он не использует указанный мной драйвер. Как это исправить?
Вопрос для тех, кто пользуется clickhouse-jdbc-bridge
Добавил свой datasource
{
"$schema":"path/datasource.jschema",
"postgre_test": {
"driverUrls": [
"path/postgresql-9.4.1212.jre6.jar"
],
"driverClassName": "org.postgresql.Driver",
"jdbcUrl": "",
"username": "",
"password": ""
}
}
При запуске кидает warning: Registered driver with driverClassName=org.postgresql.Driver was not found, trying direct instantiation.
Я так понимаю, что он не использует указанный мной драйвер. Как это исправить?
EP
Всем привет!
Вопрос для тех, кто пользуется clickhouse-jdbc-bridge
Добавил свой datasource
{
"$schema":"path/datasource.jschema",
"postgre_test": {
"driverUrls": [
"path/postgresql-9.4.1212.jre6.jar"
],
"driverClassName": "org.postgresql.Driver",
"jdbcUrl": "",
"username": "",
"password": ""
}
}
При запуске кидает warning: Registered driver with driverClassName=org.postgresql.Driver was not found, trying direct instantiation.
Я так понимаю, что он не использует указанный мной драйвер. Как это исправить?
Вопрос для тех, кто пользуется clickhouse-jdbc-bridge
Добавил свой datasource
{
"$schema":"path/datasource.jschema",
"postgre_test": {
"driverUrls": [
"path/postgresql-9.4.1212.jre6.jar"
],
"driverClassName": "org.postgresql.Driver",
"jdbcUrl": "",
"username": "",
"password": ""
}
}
При запуске кидает warning: Registered driver with driverClassName=org.postgresql.Driver was not found, trying direct instantiation.
Я так понимаю, что он не использует указанный мной драйвер. Как это исправить?
+1
N
path + data_path -- это старый способ который позволял положить базу КХ в другой каталог (ему многооо лет)
storage_configuration -- это новый способ, который позволяет настраивать на уровне таблиц
они не связаны
storage_configuration -- это новый способ, который позволяет настраивать на уровне таблиц
они не связаны
Спасибо за ответ, как сейчас будет правильно указывать? И то и другое?
Вот у меня есть диск или несколько дисков где я хочу хранить данные
куда мне записывать конфигурацию?
Вот у меня есть диск или несколько дисков где я хочу хранить данные
куда мне записывать конфигурацию?
DC
Спасибо за ответ, как сейчас будет правильно указывать? И то и другое?
Вот у меня есть диск или несколько дисков где я хочу хранить данные
куда мне записывать конфигурацию?
Вот у меня есть диск или несколько дисков где я хочу хранить данные
куда мне записывать конфигурацию?
ну так они для разного совсем нужны, я же не в курсе какая у вас проблема, куда стреляем-то?
во первых не надо использовать storage_configuration вместо raid, т.е. понятно зачем storage_configuration нужен для tiering, когда смесь из hdd и nvme , но mdraid порвет storage_configuration по скорости раз 5.
во первых не надо использовать storage_configuration вместо raid, т.е. понятно зачем storage_configuration нужен для tiering, когда смесь из hdd и nvme , но mdraid порвет storage_configuration по скорости раз 5.