Телеграмм чат группы clickhouse

2021 February 15

D

Dmitry Koreckiy in ClickHouse не тормозит

https://github.com/ClickHouse/ClickHouse/issues/18092#issuecomment-746849801

sumMap return empty when value equal 0 · Issue #18092 · ClickHouse/ClickHouse

hi I execute the sql select sumMap(code,value) from ( select [100] as code,[10] as value union all select [100] as code,[-10] as value ) I get the result ([],[]), but I expect to get the result ([1...

Воу! Надо попробовать

источник

18:15пожаловаться #1

SV

Sasha Vorobyev in ClickHouse не тормозит

Добрый день! При попытке выполнить select из МВ запросы заканчиваются ошибкой

ac.arClickHouseConnection.Query(queryStr) Error: Code: 241, Message: Memory limit (for query) exceeded: would use 43.70 GiB (attempt to allocate chunk of 17179870816 bytes)

Версия КХ 20.3
На кластере 48Гб RAM,
Кластер из 2-х нор КХ, 3 ЗК

Пробовал подтюнить:
max_threads 1
max_block_size 10000
max_memory_usage 43Gb

Не помогло
Подскажите как побороть?

источник

18:20пожаловаться #2

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Dmitry Koreckiy

а ну возможно
просто тогда https://clickhouse.tech/docs/ru/sql-reference/data-types/simpleaggregatefunction/ устарела малясь :D

clickhouse.tech

SimpleAggregateFunction | Документация ClickHouse

SimpleAggregateFunction SimpleAggregateFunction(name, types_of_arguments…) data type stores current value of the aggrega

там ничего не устарело, вы неправильно понимаете

источник

18:21пожаловаться #3

D

Dj in ClickHouse не тормозит

Dmitry Koreckiy

а ну возможно
просто тогда https://clickhouse.tech/docs/ru/sql-reference/data-types/simpleaggregatefunction/ устарела малясь :D

clickhouse.tech

SimpleAggregateFunction | Документация ClickHouse

SimpleAggregateFunction SimpleAggregateFunction(name, types_of_arguments…) data type stores current value of the aggrega

ну раньше там были только sum/min/max и чё то ещё... а сейчас почти любая функция (не требующая стейт).

источник

18:21пожаловаться #4

D

Dj in ClickHouse не тормозит

Dmitry Koreckiy

а ну возможно
просто тогда https://clickhouse.tech/docs/ru/sql-reference/data-types/simpleaggregatefunction/ устарела малясь :D

clickhouse.tech

SimpleAggregateFunction | Документация ClickHouse

SimpleAggregateFunction SimpleAggregateFunction(name, types_of_arguments…) data type stores current value of the aggrega

вот что устарело, про simpleaggregatingfunctions ни слуху ни духу https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/aggregatingmergetree/

источник

18:23пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

я понял, не хватает куска
sumMap
minMap
maxMap
argMin
argMax

источник

18:24пожаловаться #6

D

Dmitry Koreckiy in ClickHouse не тормозит

supported functions are any,anyLast,min,max,sum,sumWithOverflow,groupBitAnd,groupBitOr,groupBitXor,sumMap,minMap,maxMap,groupArrayArray,groupUniqArrayArray
(version 20.8.7.15 (official build))

источник

18:24пожаловаться #7

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Sasha Vorobyev

Добрый день! При попытке выполнить select из МВ запросы заканчиваются ошибкой

ac.arClickHouseConnection.Query(queryStr) Error: Code: 241, Message: Memory limit (for query) exceeded: would use 43.70 GiB (attempt to allocate chunk of 17179870816 bytes)

Версия КХ 20.3
На кластере 48Гб RAM,
Кластер из 2-х нор КХ, 3 ЗК

Пробовал подтюнить:
max_threads 1
max_block_size 10000
max_memory_usage 43Gb

Не помогло
Подскажите как побороть?

max_bytes_before_external_group_by

https://youtu.be/F-o-a00R4fc?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ

YouTube

003. GROUP BY и Memory limit exceeded Алексей Миловидов

источник

18:27пожаловаться #8

D

Dmitry Koreckiy in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

https://github.com/ClickHouse/ClickHouse/issues/18092#issuecomment-746849801

GitHub

sumMap return empty when value equal 0 · Issue #18092 · ClickHouse/ClickHouse

hi I execute the sql select sumMap(code,value) from ( select [100] as code,[10] as value union all select [100] as code,[-10] as value ) I get the result ([],[]), but I expect to get the result ([1...

Потестил. WA работает только в рамках select, в SimpleAggregationFunction не удалось подобное повторить

источник

18:29пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Владимир

Я правильно понимаю что “ошибки” в зукипере вида:


Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x52ac zxid:0xd000031fd txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = BadVersion for /clickhouse/tables/01/{my_path}
Got user-level KeeperException when processing sessionid:0x100414b76190000 type:multi cxid:0x5241 zxid:0xd000031ca txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/01/{my_path} Error:KeeperErrorCode = NodeExists for /clickhouse/tables/01/{my_path}

это нормальное поведение в случае Replicated таблиц?

вы случайно в две реплики сразу не инсертите? что в internal_replication?

источник

18:30пожаловаться #10

ДП

Даниил Поздеев... in ClickHouse не тормозит

Ребят, привет!
Подскажите, плиз

Как из длинного формата данных - сдедать широкий
То есть у меня есть 3 колонки -
1) категориальная переменная где N есть категорий
2) числовое значение
3) дата

Есть необходимоость сделать 1 колонка дата и 2, 3, N колонок по категориям

источник

18:30пожаловаться #11

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Даниил Поздеев

Ребят, привет!
Подскажите, плиз

Как из длинного формата данных - сдедать широкий
То есть у меня есть 3 колонки -
1) категориальная переменная где N есть категорий
2) числовое значение
3) дата

Есть необходимоость сделать 1 колонка дата и 2, 3, N колонок по категориям

https://stackoverflow.com/questions/66024153/pivot-column-into-nxm-table-in-clickhouse/66031333#66031333

Stack Overflow

Pivot column into NxM table in ClickHouse

Imagine I have a table like
col_a col_b col_c
one a 1.0
one b 2.0
two a 3.0
two b 4.0

And I wanted to transform it into
a b
one 1.0 2.0
two 3.0 4.0

I know ...

источник

18:32пожаловаться #12

ДП

Даниил Поздеев... in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

https://stackoverflow.com/questions/66024153/pivot-column-into-nxm-table-in-clickhouse/66031333#66031333

Stack Overflow

Pivot column into NxM table in ClickHouse

Imagine I have a table like
col_a col_b col_c
one a 1.0
one b 2.0
two a 3.0
two b 4.0

And I wanted to transform it into
a b
one 1.0 2.0
two 3.0 4.0

I know ...

Спасибо!

источник

18:32пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

на самом деле SQL не поддерживает переменное число колонок

источник

18:32пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

проблема не в КХ, SQL не умеет 7 колонок в 1й строке и 3 колонки во второй строке

источник

18:33пожаловаться #15

ДП

Даниил Поздеев... in ClickHouse не тормозит

Даниил Поздеев

Спасибо!

блин
ну когда у тебя 100 категорий, руками не прикольно писать)

источник

18:33пожаловаться #16

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Даниил Поздеев

блин
ну когда у тебя 100 категорий, руками не прикольно писать)

КХ позволяет

┌─col_a─┬─r─────────────────┐
│ two   │ [('a',3),('b',4)] │
│ one   │ [('a',1),('b',2)] │
└───────┴───────────────────┘

источник

18:34пожаловаться #17

SV

Sasha Vorobyev in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

max_bytes_before_external_group_by

https://youtu.be/F-o-a00R4fc?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ

YouTube

003. GROUP BY и Memory limit exceeded Алексей Миловидов

спасибо! Попробую

источник

18:34пожаловаться #18

АВ

Алексей Веселов... in ClickHouse не тормозит

ребят всем привет!) подскажите пож-та - мне надо для каждого юзера взять первые 4 покупки и пронумеровать их?

SELECT
event_time,
user,
revenue
FROM table
ORDER BY event_time
LIMIT 4 BY user

Надо вот дополнительным столбцом purchase_n для каждого юзера вывести номер покупки порядковый - 1,2,3,4

источник

18:35пожаловаться #19

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Алексей Веселов

ребят всем привет!) подскажите пож-та - мне надо для каждого юзера взять первые 4 покупки и пронумеровать их?

SELECT
event_time,
user,
revenue
FROM table
ORDER BY event_time
LIMIT 4 BY user

Надо вот дополнительным столбцом purchase_n для каждого юзера вывести номер покупки порядковый - 1,2,3,4

groupArray() + arrayEnumerate

источник

18:36пожаловаться #20