Телеграмм чат группы clickhouse

2021 January 28

S

Slach in ClickHouse не тормозит

Mi

А табикс кто-нибудь использует?

еще есть всякие комбинации из Python типа plotly dash и streamlit + clickhouse sqlalchemy driver

источник

20:31пожаловаться #1

CO

Chern Oleksander in ClickHouse не тормозит

Dj

select dateval, hourval, typeval, 
(arrayJoin(groupArray(tuple(user_id, sumval)) as grped) as tpl).1 as _user_id, 
tpl.2 as _sumval,
sum(sumval) as totalsumval from
(
select cityHash64(number,1)%2+1 user_id, today()-10+cityHash64(number,2)%3 dateval, cityHash64(number,3)%2 as hourval,
cityHash64(number,4)%3*10 sumval,cityHash64(number,5)%3 as typeval  from numbers(100)
order by dateval, hourval, user_id
)
group by dateval, hourval, typeval
order by dateval, hourval, typeval, _user_id ;

Что-то очень страшное, но ща попробуем )

источник

20:41пожаловаться #2

CO

Chern Oleksander in ClickHouse не тормозит

Dj

select dateval, hourval, typeval, 
(arrayJoin(groupArray(tuple(user_id, sumval)) as grped) as tpl).1 as _user_id, 
tpl.2 as _sumval,
sum(sumval) as totalsumval from
(
select cityHash64(number,1)%2+1 user_id, today()-10+cityHash64(number,2)%3 dateval, cityHash64(number,3)%2 as hourval,
cityHash64(number,4)%3*10 sumval,cityHash64(number,5)%3 as typeval  from numbers(100)
order by dateval, hourval, user_id
)
group by dateval, hourval, typeval
order by dateval, hourval, typeval, _user_id ;

Спасибо

источник

20:41пожаловаться #3

AG

Artemeey Gavryushin in ClickHouse не тормозит

Подскажите, есть ли возможность получить абсолютный count() в запросе с группировкой - до агрегации, как если бы группировки не было?

источник

21:06пожаловаться #4

MM

Maksim Milyutin in ClickHouse не тормозит

Artemeey Gavryushin

Подскажите, есть ли возможность получить абсолютный count() в запросе с группировкой - до агрегации, как если бы группировки не было?

grouping sets?

источник

21:10пожаловаться #5

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

Подскажите, есть ли возможность получить абсолютный count() в запросе с группировкой - до агрегации, как если бы группировки не было?

Собственно вот https://t.me/clickhouse_ru/201765

【D】【J】 in ClickHouse не тормозит

select dateval, hourval, typeval,
(arrayJoin(groupArray(tuple(user_id, sumval)) as grped) as tpl).1 as _user_id,
tpl.2 as _sumval,
sum(sumval) as totalsumval from
(
select cityHash64(number,1)%2+1 user_id, today()-10+cityHash64(number,2)%3 dateval, cityHash64(number,3)%2 as hourval,
cityHash64(number,4)%3*10 sumval,cityHash64(number,5)%3 as typeval from numbers(100)
order by dateval, hourval, user_id
)
group by dateval, hourval, typeval
order by dateval, hourval, typeval, _user_id ;

источник

21:10пожаловаться #6

D

Dj in ClickHouse не тормозит

Chern Oleksander

Что-то очень страшное, но ща попробуем )

Самая страшная часть - генератор данных, который вы поленились сделать.

источник

21:11пожаловаться #7

AG

Artemeey Gavryushin in ClickHouse не тормозит

Dj

Собственно вот https://t.me/clickhouse_ru/201765

【D】【J】 in ClickHouse не тормозит

select dateval, hourval, typeval,
(arrayJoin(groupArray(tuple(user_id, sumval)) as grped) as tpl).1 as _user_id,
tpl.2 as _sumval,
sum(sumval) as totalsumval from
(
select cityHash64(number,1)%2+1 user_id, today()-10+cityHash64(number,2)%3 dateval, cityHash64(number,3)%2 as hourval,
cityHash64(number,4)%3*10 sumval,cityHash64(number,5)%3 as typeval from numbers(100)
order by dateval, hourval, user_id
)
group by dateval, hourval, typeval
order by dateval, hourval, typeval, _user_id ;

В одном запросе

источник

21:18пожаловаться #8

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

В одном запросе

пример?

источник

21:34пожаловаться #9

AG

Artemeey Gavryushin in ClickHouse не тормозит

Dj

пример?

SELECT count(), countBeforeAggregate() FROM test GROUP BY test.id

источник

21:40пожаловаться #10

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

SELECT count(), countBeforeAggregate() FROM test GROUP BY test.id

а с данными? типа что на входе и что на выходе ожидаете?

источник

21:41пожаловаться #11

AG

Artemeey Gavryushin in ClickHouse не тормозит

Dj

а с данными? типа что на входе и что на выходе ожидаете?

Предположим, что в таблице 50 строк

SELECT id, count(), countBeforeAggregate()

1 20 50
2 20 50
3 10 50

источник

21:43пожаловаться #12

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

Предположим, что в таблице 50 строк

SELECT id, count(), countBeforeAggregate()

1 20 50
2 20 50
3 10 50

неясно чем вам пример выше не угодил...
то же самое

select (arrayJoin(groupArray(tuple(id, cnt))) as aa).1 as _id, aa.2 as _cnt, sum(cnt) as totalCnt from (
select 1 as id, 20 as cnt UNION ALL
select 2 as id, 20 as cnt UNION ALL
select 3 as id, 10 as cnt
)

источник

21:48пожаловаться #13

AG

Artemeey Gavryushin in ClickHouse не тормозит

Dj

неясно чем вам пример выше не угодил...
то же самое

select (arrayJoin(groupArray(tuple(id, cnt))) as aa).1 as _id, aa.2 as _cnt, sum(cnt) as totalCnt from (
select 1 as id, 20 as cnt UNION ALL
select 2 as id, 20 as cnt UNION ALL
select 3 as id, 10 as cnt
)

Он делает много лишней работы

источник

21:49пожаловаться #14

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

Он делает много лишней работы

ну вам тогда оконки нужны... но они тоже делают лишнюю работу... а другого в SQL нет ...

источник

21:52пожаловаться #15

AG

Artemeey Gavryushin in ClickHouse не тормозит

Найти способ посчитать count() до агрегации не вопрос, интересовала возможность это сделать нативными средствами CH, чтобы запрос был максимально оптимизирован,и не создавал паразитные объекты

источник

21:54пожаловаться #16

D

Dj in ClickHouse не тормозит

Artemeey Gavryushin

Найти способ посчитать count() до агрегации не вопрос, интересовала возможность это сделать нативными средствами CH, чтобы запрос был максимально оптимизирован,и не создавал паразитные объекты

>паразитные объекты
это никогда не являлось источником тормозов в КХ. либо вы не для того его пользуете...

источник

21:59пожаловаться #17

AG

Artemeey Gavryushin in ClickHouse не тормозит

Dj

>паразитные объекты
это никогда не являлось источником тормозов в КХ. либо вы не для того его пользуете...

Все равно спасибо
Но не такого решения хочется

источник

22:15пожаловаться #18

A

Alexander in ClickHouse не тормозит

Добрый вечер, конфиг:

<yandex>
 <remote_servers>
      <shard>
        <internal_replication>true</internal_replication>
        <replica>

при запуске клиента вижу надпись:

Cannot load data for command line suggestions: Code: 137, e.displayText() = DB::Exception: Received from localhost:9000. DB::Exception: Unknown element in config: internal_replication. (version 21.1.2.15 (official build))

не очень с ходу понимаю что не так

источник

22:26пожаловаться #19

A

Alexander in ClickHouse не тормозит

из докерного конфига целиком <remote_servers>...</remote_servers> убрано

источник

22:27пожаловаться #20