В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4029 membersпожаловаться на группу
2020 June 24

DT

Dmitry Titov in ClickHouse не тормозит
Required Optional
я вот не уверен... where чаще работает быстрее чем IN
А сделайте запроса вида
select avg(cnt) from (SELECT count() as cnt FROM table GROUP BY date, commit,hashId,tid,gt)

или просто скажите, у вас для каждого набора hashId,tid,gt сколько строк выходит примерно?
источник
18:55пожаловаться#1

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а order by какой у таблицы?
PARTITION BY (Date, commit) ORDER BY (gt, Book, tid) с 24 датами, 70 commit, 19 gt, 1019 Book и 5.2 милиона tid
источник
19:06пожаловаться#2

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
PARTITION BY (Date, commit) ORDER BY (gt, Book, tid) с 24 датами, 70 commit, 19 gt, 1019 Book и 5.2 милиона tid
т.е. проблема в Book ? сколько их разных?

что показыает если выполнить запрос с force_primary_key ?
покажите статисктику из клиента

SELECT * FROM MyBigTable prewhere
MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a2a6cb7d970bf333a50458fc2cfdfebe' AND MyBigTable.gt='first_value'
AND factor=1 AND Date='2020-06-04' AND commit = 6683359921796490297
источник
19:11пожаловаться#3

RO

Required Optional in ClickHouse не тормозит
Dmitry Titov
А сделайте запроса вида
select avg(cnt) from (SELECT count() as cnt FROM table GROUP BY date, commit,hashId,tid,gt)

или просто скажите, у вас для каждого набора hashId,tid,gt сколько строк выходит примерно?
┌──────────avg(cnt)─┐
│ 4582.805462172507 │
└───────────────────┘

1 rows in set. Elapsed: 171.514 sec. Processed 10.28 billion rows, 442.79 GB (59.91 million rows/s., 2.58 GB/s.)
источник
19:12пожаловаться#4

DT

Dmitry Titov in ClickHouse не тормозит
Required Optional
┌──────────avg(cnt)─┐
│ 4582.805462172507 │
└───────────────────┘

1 rows in set. Elapsed: 171.514 sec. Processed 10.28 billion rows, 442.79 GB (59.91 million rows/s., 2.58 GB/s.)
ну грубо говоря, кардинальность 8192 вам вприципе подходит
источник
19:13пожаловаться#5

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
т.е. проблема в Book ? сколько их разных?

что показыает если выполнить запрос с force_primary_key ?
покажите статисктику из клиента

SELECT * FROM MyBigTable prewhere
MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a2a6cb7d970bf333a50458fc2cfdfebe' AND MyBigTable.gt='first_value'
AND factor=1 AND Date='2020-06-04' AND commit = 6683359921796490297
1 rows in set. Elapsed: 0.802 sec. Processed 5.59 million rows, 430.22 MB (6.97 million rows/s., 536.54 MB/s.)
источник
19:15пожаловаться#6

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
т.е. проблема в Book ? сколько их разных?

что показыает если выполнить запрос с force_primary_key ?
покажите статисктику из клиента

SELECT * FROM MyBigTable prewhere
MyBigTable.hashId=9051237127632764928 AND MyBigTable.tid='a2a6cb7d970bf333a50458fc2cfdfebe' AND MyBigTable.gt='first_value'
AND factor=1 AND Date='2020-06-04' AND commit = 6683359921796490297
только все вместе дают примерно 20с
источник
19:16пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
только все вместе дают примерно 20с
wut?
источник
19:18пожаловаться#8

RO

Required Optional in ClickHouse не тормозит
20 секунд
источник
19:19пожаловаться#9

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
20 секунд
3 вправо
источник
19:19пожаловаться#10

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
3 вправо
полный запрос выдает 55 линий за 20 секунд. Не совсем понимаю комментарий "3 вправо"
источник
19:20пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
1 rows in set. Elapsed: 0.802 sec. Processed 5.59 million rows, 430.22 MB (6.97 million rows/s., 536.54 MB/s.)
а какой book в этой строке и какая статистика будет если добавить в условие book =  ?
источник
19:21пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
может вам book убрать из order by, он вам зачем там?
источник
19:22пожаловаться#13

RO

Required Optional in ClickHouse не тормозит
ну я могу добавить бук, но в этих запросах не используется... Сейчас
источник
19:22пожаловаться#14

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а какой book в этой строке и какая статистика будет если добавить в условие book =  ?
оптимизация на другие запросы
источник
19:23пожаловаться#15

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
ну я могу добавить бук, но в этих запросах не используется... Сейчас
я статистику хочу увидеть Processed 5.59 million rows при использованном book
источник
19:23пожаловаться#16

RO

Required Optional in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я статистику хочу увидеть Processed 5.59 million rows при использованном book
Это магия!
55 rows in set. Elapsed: 1.125 sec. Processed 819.20 thousand rows, 1.00 GB (728.27 thousand rows/s., 890.92 MB/s.)
источник
19:26пожаловаться#17

RO

Required Optional in ClickHouse не тормозит
Короче ясно, что при первичном ключе он весь должен учавствовать в запросе... Пропуски стоят дорого...
источник
19:28пожаловаться#18

D

Dj in ClickHouse не тормозит
а чё так можно было... (бук просто взять и добавить) о_О
источник
19:31пожаловаться#19

DC

Denny Crane (I don't... in ClickHouse не тормозит
Required Optional
Короче ясно, что при первичном ключе он весь должен учавствовать в запросе... Пропуски стоят дорого...
Ну это как бы везде одинаково, я узнал это 30 лет назад
источник
19:31пожаловаться#20