Телеграмм чат группы clickhouse_ru страница 7721

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4057 membersпожаловаться на группу

2020 July 01

DT

Dmitry Titov in ClickHouse не тормозит

Oleksandr Forostianyi

Простите, говорилось о мат вью уже, да. Проблема в том что данных 600+ миллионов а выбрать надо по сути последние 100 с limit + order by....

покажите ORDER BY таблицы и ORDER BY запроса (можно просто написать a,b,c главное что бы одинаковые колонки совпадали по имени)

источник

20:49пожаловаться #1

OF

Oleksandr Forostiany... in ClickHouse не тормозит

Table ORDER BY (ID1, ID2, TIME)

Query ORDER BY TIME DESK

источник

20:51пожаловаться #2

OF

Oleksandr Forostiany... in ClickHouse не тормозит

В итоге без ORDER BY запрос выполняется 0.2сек, а с ним 60+сек

источник

20:52пожаловаться #3

DT

Dmitry Titov in ClickHouse не тормозит

ORDER BY ID1,ID2,TIME DESC будет выполнятся тоже быстро, но это скорее всего совсем не то, что вам нужно.

А можно весь запрос?

Конечно можно создать MV c ORDER BY (TIME,ID1,ID2)
но выглядит over kill немного

источник

20:54пожаловаться #4

BB

Bral Bral in ClickHouse не тормозит

ORDER BY ID1,ID2,TIME DESC будет выполнятся тоже быстро, но это скорее всего совсем не то, что вам нужно.

А можно весь запрос?

Конечно можно создать MV c ORDER BY (TIME,ID1,ID2)
но выглядит over kill немного

TIME же третье по счету стоит у него, это разве не влияет существенно ?

источник

21:08пожаловаться #5

BB

Bral Bral in ClickHouse не тормозит

TIME же третье по счету стоит у него, это разве не влияет существенно ?

А сортировать хочет только по TIME

источник

21:09пожаловаться #6

OF

Oleksandr Forostiany... in ClickHouse не тормозит

Т.е. порядок ордера влияет, хм, можно попробовать будет. Запрос полностью не могу сейчас, уже дома

источник

21:09пожаловаться #7

DT

Dmitry Titov in ClickHouse не тормозит

TIME же третье по счету стоит у него, это разве не влияет существенно ?

А это вопрос. как там дефолтно идет сортировка ASC или DESC, если ASC, то нужно будет писать ID1 DESC, ID2 DESC, TIME DESC оно будет медленее, чем ID1, ID2, TIME но быстрее, чем не по индексу.

источник

21:13пожаловаться #8

DT

Dmitry Titov in ClickHouse не тормозит

А сортировать хочет только по TIME

Ну вдруг там такой запрос, что это не важно.
Но если нужны честные последние 100 TIME, то вариантов особо нет кроме MV

источник

21:14пожаловаться #9

D

Dj in ClickHouse не тормозит

TIME же третье по счету стоит у него, это разве не влияет существенно ?

зависит от кардинальности ID1 и ID2, по хорошему. Но судя по тому что они так называются, кардинальность высокая.

лучше MV по TIME DESC.
если можно менять таблицу, то можно попробовать TIME, ID1, ID2 если ID достаточно сильно уникальны и разбросаны ваши обычные запросы не должны сильно пострадать.

источник

21:17пожаловаться #10

OF

Oleksandr Forostiany... in ClickHouse не тормозит

Спасибо большое за советы, завтра буду пробовать 👍

источник

21:26пожаловаться #11

DC

Denny Crane (I don't... in ClickHouse не тормозит

Oleksandr Forostianyi

Table ORDER BY (ID1, ID2, TIME)

Query ORDER BY TIME DESK

>Table ORDER BY (ID1, ID2, TIME)
>Query ORDER BY TIME DESK

а покажите целиком запрос?

в КХ очень наивно сейчас сделано, т.е. если
Table ORDER BY (ID1, ID2, TIME)
то
Query ORDER BY ID1 DESC, ID2 DESC, TIME DESC

источник

21:52пожаловаться #12

DC

Denny Crane (I don't... in ClickHouse не тормозит

КХ "не видит" что у вас в запросе where id1 = ? and id2=? (что сортировать по ним не нужно)

источник

21:54пожаловаться #13

OF

Oleksandr Forostiany... in ClickHouse не тормозит

О как... понял

источник

21:55пожаловаться #14

Р

Роман in ClickHouse не тормозит

Добрый вечер! Подскажите как правильно использовать каскадные MV. Сейчас при использовании mv1->mv2 ->anyTable1 данные в mv2 не попадают. Движок везде MergeTree, простые селекты без группировок. Версия CH 20.4.x.x. MV созданы через populate.

источник

22:05пожаловаться #15

DS

Daniil S. in ClickHouse не тормозит

Добрый вечер! Подскажите как правильно использовать каскадные MV. Сейчас при использовании mv1->mv2 ->anyTable1 данные в mv2 не попадают. Движок везде MergeTree, простые селекты без группировок. Версия CH 20.4.x.x. MV созданы через populate.

from делается по underlying таблице mv1 или по самой mv1?

источник

22:13пожаловаться #16

DC

Denny Crane (I don't... in ClickHouse не тормозит

Добрый вечер! Подскажите как правильно использовать каскадные MV. Сейчас при использовании mv1->mv2 ->anyTable1 данные в mv2 не попадают. Движок везде MergeTree, простые селекты без группировок. Версия CH 20.4.x.x. MV созданы через populate.

каскадирование работает, только если имя стораджа неявное у MV то у второго надо from ".inner.первое_mv"

источник

22:13пожаловаться #17

Р

Роман in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

каскадирование работает, только если имя стораджа неявное у MV то у второго надо from ".inner.первое_mv"

Спасибо. А в случае создания через TO, inner таблица тоже существует?

источник

22:17пожаловаться #18

DC

Denny Crane (I don't... in ClickHouse не тормозит

Спасибо. А в случае создания через TO, inner таблица тоже существует?

нет конечно

источник

22:17пожаловаться #19

DC

Denny Crane (I don't... in ClickHouse не тормозит

to и есть та таблица

источник

22:18пожаловаться #20