D
надо какойнить faq завести уже :)
Size: a a a
2021 March 04
DP
Нашел это решение в исшуях, спасибо. Жаль, что только руками
DC
Нашел это решение в исшуях, спасибо. Жаль, что только руками
Вы ссзб.
DC
Не нужно просто использовать этот список.
DP
Согласен
TM
Здравствуйте знатоки кликхаус. Подскажите пожалуйста какие нибудь драйвера на python. ClickHouse-driver пробовал, с map отказывается работать, ввод в nested ужасный, у меня много nested с вложенными массивами.
E
Ребят, а как сделать group by по 48 часов. Тип поля datetime
DN
Timur Mukhamet
Здравствуйте знатоки кликхаус. Подскажите пожалуйста какие нибудь драйвера на python. ClickHouse-driver пробовал, с map отказывается работать, ввод в nested ужасный, у меня много nested с вложенными массивами.
это единственный, есть еще http но там реквестом обычным
TM
спасибо
II
Здравствуйте. Помогите пожалуйста.
Есть таблица:
Делаю запрос:
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
Есть таблица:
CREATE TABLE IF NOT EXISTS user_logs
(
user_id UInt64 CODEC(ZSTD),
message String CODEC(ZSTD),
ts DateTime CODEC(ZSTD)
) ENGINE = MergeTree()
ORDER BY (user_id, ts)
TTL ts + INTERVAL 1 MONTH DELETE
PARTITION BY toYYYYMMDD(ts)
SETTINGS index_granularity=8196
Делаю запрос:
SELECT * FROM user_logs order by ts desc limit 10
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
D
Ребят, а как сделать group by по 48 часов. Тип поля datetime
можно так:
select (toDate(0)+intDiv(toRelativeDayNum(dt),2)*2) as dt2daysrounded, sum(val) from (
select toStartOfDay(now())+(number*3600) dt, cityHash64(number)%10 val from numbers(100)
)
group by dt2daysrounded
pk
Здравствуйте. Помогите пожалуйста.
Есть таблица:
Делаю запрос:
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
Есть таблица:
CREATE TABLE IF NOT EXISTS user_logs
(
user_id UInt64 CODEC(ZSTD),
message String CODEC(ZSTD),
ts DateTime CODEC(ZSTD)
) ENGINE = MergeTree()
ORDER BY (user_id, ts)
TTL ts + INTERVAL 1 MONTH DELETE
PARTITION BY toYYYYMMDD(ts)
SETTINGS index_granularity=8196
Делаю запрос:
SELECT * FROM user_logs order by ts desc limit 10
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
если достаточно, то делайте запрос в последнюю партицию
II
если достаточно, то делайте запрос в последнюю партицию
Это понятно, но если в последней партицые по каким то причинам не окажется достаточно данных, тогда прейдется ручками делеть полный запрос.
Думал может есть решение в самом КХ.
Думал может есть решение в самом КХ.
D
Это понятно, но если в последней партицые по каким то причинам не окажется достаточно данных, тогда прейдется ручками делеть полный запрос.
Думал может есть решение в самом КХ.
Думал может есть решение в самом КХ.
можете сходить в with system.parts.rows запросить, но если логика приложения под контролем, то проще сходить итеративно... вообще если так мало, делайте партишны крупнее
A
Столкнулся с аналогичной проблемой. Как вариант делать materialized view и тащить оттуда интересующие данные
II
можете сходить в with system.parts.rows запросить, но если логика приложения под контролем, то проще сходить итеративно... вообще если так мало, делайте партишны крупнее
Не мало, я условно.
100 rows in set. Elapsed: 84.951 sec. Processed 3.76 billion rows, 774.14 GB (44.28 million rows/s., 9.11 GB/s.)
100 rows in set. Elapsed: 84.951 sec. Processed 3.76 billion rows, 774.14 GB (44.28 million rows/s., 9.11 GB/s.)
D
Не мало, я условно.
100 rows in set. Elapsed: 84.951 sec. Processed 3.76 billion rows, 774.14 GB (44.28 million rows/s., 9.11 GB/s.)
100 rows in set. Elapsed: 84.951 sec. Processed 3.76 billion rows, 774.14 GB (44.28 million rows/s., 9.11 GB/s.)
ну замените содержимое with тем что вам нужно
https://t.me/clickhouse_ru/165729
https://t.me/clickhouse_ru/165729
DC
Здравствуйте. Помогите пожалуйста.
Есть таблица:
Делаю запрос:
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
Есть таблица:
CREATE TABLE IF NOT EXISTS user_logs
(
user_id UInt64 CODEC(ZSTD),
message String CODEC(ZSTD),
ts DateTime CODEC(ZSTD)
) ENGINE = MergeTree()
ORDER BY (user_id, ts)
TTL ts + INTERVAL 1 MONTH DELETE
PARTITION BY toYYYYMMDD(ts)
SETTINGS index_granularity=8196
Делаю запрос:
SELECT * FROM user_logs order by ts desc limit 10
В результате идет сканирование всех партиций.
Как ускорит запрос? Ведь вринципе достаточно сканировать только посленюю партицию.
Так нету такой оптимизации.
AP
Хоть какие-то планы есть притащить в КХ оптимизатор (cascades и т.п.)?
AP
Это эпический таск конечно, но тем не менее, вдруг.