В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4028 membersпожаловаться на группу
2020 June 21

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
вопрос такой, при хеш-джоин КХ правую таблицу считывает первым селектом и всегда в память кладет в одном экземпляре?
я просто примерно интуитивно прикинул, должно использоватся памяти в разы меньше.. или там на потоки чего то где то умножается?.
Там такой хеш супер жадный и память скачками удваивается по мере увеличения кол-ва строк.
источник
22:20пожаловаться#1

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Там такой хеш супер жадный и память скачками удваивается по мере увеличения кол-ва строк.
блин хеш курильщика... ок... а есть где нить рассказ на ютюбе про его жадность? а то назревает новый ишшю на "хешджойны здорового человека", но  в С++ читать  не потяну по времени
источник
22:22пожаловаться#2

D

Dj in ClickHouse не тормозит
Ilona Gladysheva
у меня при положительных значениях вообще тоталы пропали..
так оно и должно фильтроватся... и тоталы, и не тоталы, или я не прав?
источник
22:22пожаловаться#3

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
блин хеш курильщика... ок... а есть где нить рассказ на ютюбе про его жадность? а то назревает новый ишшю на "хешджойны здорового человека", но  в С++ читать  не потяну по времени
Я вот тут пытался это показать https://github.com/ClickHouse/ClickHouse/issues/10409
GitHub
HashJoin uses much more memory than uncompressed data size · Issue #10409 · ClickHouse/ClickHouse
create table t1 (f0 UInt64, f1 UInt64, f2 Float64, f3 UInt64) Engine=MergeTree order by f0; insert into t1 select number, number, number/4345345, intDiv(number,4345345) from numbers(100000000); sel...
источник
22:23пожаловаться#4

IG

Ilona Gladysheva in ClickHouse не тормозит
Dj
так оно и должно фильтроватся... и тоталы, и не тоталы, или я не прав?
так вот мне казалось, что в CH having принимается во внимание при rollup, но видимо нет(
источник
22:23пожаловаться#5

IG

Ilona Gladysheva in ClickHouse не тормозит
получается, чтобы посчитать rollup с учетом having нужно вложенный select делать и опять группировать и считать до фига строк?😁
источник
22:25пожаловаться#6

D

Dj in ClickHouse не тормозит
Ilona Gladysheva
так вот мне казалось, что в CH having принимается во внимание при rollup, но видимо нет(
должен принимать "это норма"
источник
22:25пожаловаться#7

D

Dj in ClickHouse не тормозит
select a, sum(b)
from
(
select 1 a, 100 b from dual
union all 
select 2, 200 from dual
union all 
select 2, 300 from dual
union all 
select 3, 300 from dual
) t 
group by rollup(a)
having sum(b) < 500
order by a

===
оракл
A  SUM(B)
1  100
3  300

КХ
1  100
3  300

тут все по стандарту. может раньше был баг и его исправили...

а вот с негативными поинтересней...
источник
22:27пожаловаться#8

IG

Ilona Gladysheva in ClickHouse не тормозит
Dj
select a, sum(b)
from
(
select 1 a, 100 b from dual
union all 
select 2, 200 from dual
union all 
select 2, 300 from dual
union all 
select 3, 300 from dual
) t 
group by rollup(a)
having sum(b) < 500
order by a

===
оракл
A  SUM(B)
1  100
3  300

КХ
1  100
3  300

тут все по стандарту. может раньше был баг и его исправили...

а вот с негативными поинтересней...
не, смотрите, как я понимаю rollup используется для подсчета промежуточных итогов и у меня стоит задача посчитать все, где сумма(б) < 500. Вопрос, где итоги? ))
источник
22:28пожаловаться#9

IG

Ilona Gladysheva in ClickHouse не тормозит
Dj
select a, sum(b)
from
(
select 1 a, 100 b from dual
union all 
select 2, 200 from dual
union all 
select 2, 300 from dual
union all 
select 3, 300 from dual
) t 
group by rollup(a)
having sum(b) < 500
order by a

===
оракл
A  SUM(B)
1  100
3  300

КХ
1  100
3  300

тут все по стандарту. может раньше был баг и его исправили...

а вот с негативными поинтересней...
точнее даже так, есть задача сгруппировать записи, и посчитать тоталы для тех, у кого сумма меньше заданного значения. Видимо это одним запросом не сделать, придется делать подзапрос.
источник
22:30пожаловаться#10

AK

Anton Khokhrin in ClickHouse не тормозит
Ilona Gladysheva
точнее даже так, есть задача сгруппировать записи, и посчитать тоталы для тех, у кого сумма меньше заданного значения. Видимо это одним запросом не сделать, придется делать подзапрос.
Так считает же. Я читаю и не могу понять, что вас не устраивает в результате
источник
22:31пожаловаться#11

IG

Ilona Gladysheva in ClickHouse не тормозит
Anton Khokhrin
Так считает же. Я читаю и не могу понять, что вас не устраивает в результате
нет общего тотала
источник
22:32пожаловаться#12

IG

Ilona Gladysheva in ClickHouse не тормозит
если убрать having, то получится:
источник
22:32пожаловаться#13

D

Dj in ClickHouse не тормозит
Ilona Gladysheva
не, смотрите, как я понимаю rollup используется для подсчета промежуточных итогов и у меня стоит задача посчитать все, где сумма(б) < 500. Вопрос, где итоги? ))
вам по любому делать подзапросы либо массивами, но в целом я в экзистенциальный кризис впал...  я проверил на оракле, и там точно так же (тотал фильтруется на плюсе, и не фильтруется на минусе , и я не понимаю почему)... и зачем я открыл этот чат в вечер воскресенья 🤷‍♂️
источник
22:32пожаловаться#14

AK

Anton Khokhrin in ClickHouse не тормозит
Ilona Gladysheva
нет общего тотала
С 0 общий =-300
источник
22:32пожаловаться#15

IG

Ilona Gladysheva in ClickHouse не тормозит
Anton Khokhrin
С 0 общий =-300
да, но он общий по всем записям, а не по тем, которые попадают под условие. Я понимаю логику, сначала работает group by и rollup, потом having, но с точки зрения usecase такая комбинация становится бессмысленной. Потому что тоталы, которые вы видите в таблице не сходятся по строкам, которые вы видите в той же таблице
источник
22:35пожаловаться#16

IG

Ilona Gladysheva in ClickHouse не тормозит
Dj
вам по любому делать подзапросы либо массивами, но в целом я в экзистенциальный кризис впал...  я проверил на оракле, и там точно так же (тотал фильтруется на плюсе, и не фильтруется на минусе , и я не понимаю почему)... и зачем я открыл этот чат в вечер воскресенья 🤷‍♂️
сорри сорри ))
источник
22:36пожаловаться#17

AK

Anton Khokhrin in ClickHouse не тормозит
Ilona Gladysheva
да, но он общий по всем записям, а не по тем, которые попадают под условие. Я понимаю логику, сначала работает group by и rollup, потом having, но с точки зрения usecase такая комбинация становится бессмысленной. Потому что тоталы, которые вы видите в таблице не сходятся по строкам, которые вы видите в той же таблице
Тогда да. Мы по-разному понимаем логику
источник
22:36пожаловаться#18

D

Dj in ClickHouse не тормозит
Ilona Gladysheva
да, но он общий по всем записям, а не по тем, которые попадают под условие. Я понимаю логику, сначала работает group by и rollup, потом having, но с точки зрения usecase такая комбинация становится бессмысленной. Потому что тоталы, которые вы видите в таблице не сходятся по строкам, которые вы видите в той же таблице
в других базах есть поддержка HAVING (condition) OR Groupkeys
источник
22:38пожаловаться#19

D

Dj in ClickHouse не тормозит
Т.е. можно тоталс безусловно выводить
источник
22:38пожаловаться#20