Size: a a a

ClickHouse не тормозит

2021 March 12

DT

Dmitry Titov in ClickHouse не тормозит
set send_logs_level='trace';

где думает?
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Aggregator: Merging aggregated data
Current memory usage (for query): 6.00 GiB.
так секунд 30
Current memory usage (for query): 17.00 GiB.

и потом шустренько завершается
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Выглядит так, будто нода инициатор долго мерджит
источник

M

Mishanya in ClickHouse не тормозит
а если поставить distributed no merge чето там
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
если поставить distributed_group_by_no_merge=1 то не 40 секунд, а 8
источник

M

Mishanya in ClickHouse не тормозит
ну вот и отлично
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
То есть с этим параметром запросы будут полностью завершены на каждом шарде и инициатор получит только результат? Или я неправильно понял описание
источник

G

GithubReleases in ClickHouse не тормозит
ClickHouse/ClickHouse tagged: v21.3.2.5-lts
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.3.2.5-lts
Release notes:
v21.3.2.5-lts
источник

M

Mishanya in ClickHouse не тормозит
Илья Максимов
То есть с этим параметром запросы будут полностью завершены на каждом шарде и инициатор получит только результат? Или я неправильно понял описание
ну как я понимаю, инициатор просто получит данные и выплюнет вам. с дефолтной настройкой инциатор еще мержит их у себя(не могу придумать кейс, что-то связано с шардингом может или группировкой)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Илья Максимов
То есть с этим параметром запросы будут полностью завершены на каждом шарде и инициатор получит только результат? Или я неправильно понял описание
Да, но проблема том, что если у вас GROUP BY key то включение этой настройки  вернет вам по ключу с каждого шарда те будет агрегация не до конца
источник

M

Mishanya in ClickHouse не тормозит
Dmitry Titov
Да, но проблема том, что если у вас GROUP BY key то включение этой настройки  вернет вам по ключу с каждого шарда те будет агрегация не до конца
ааа
тип если группировка не совпадает с ключом шардирования, то шарды могут вернуть две строчки с одинаоквой группировкой ? и этой настройкой регулируется мержить ли эти две строчки или не ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Mishanya
ааа
тип если группировка не совпадает с ключом шардирования, то шарды могут вернуть две строчки с одинаоквой группировкой ? и этой настройкой регулируется мержить ли эти две строчки или не ?
Да
источник

M

Mishanya in ClickHouse не тормозит
спасибо)
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
а если ключ шардирования рандомный?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Илья Максимов
а если ключ шардирования рандомный?
Значит вам пользоваться этой настройкой скорее всего не стоит
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Оке всем спасибо, покопаю в эту сторону
источник

FN

Fred Navruzov in ClickHouse не тормозит
Fred Navruzov
Господа-знатоки, а подскажите пожалуйста, можно ли сделать такую вещь?
(и если да - то какой максимально "православный" способ это сделать в КХ?)

Есть таблица t, в ней колонка entity_id (Int32), и другая колонка  similar_entities Array(Int32)  все элементы массива - entity_id,
также есть колонка-агрегат agg_col (допустим, среднее значение скорости для entity_id)

можно ли для каждой строки вычислить агрегационную функцию F (допустим avg / max /...) по колонке similar_entities
т.е. для каждой строки данной таблицы с entity_id зайти в массив similar_entities, отфильтровать таблицу t как entity_id in (similar_entities), взять F(agg_col) и записать его в ту же строку?
select
   raw.id,
   raw.similar_ids,
   raw.agg_from_id,
   sum(raw2.agg) as sim_ids_agg
from
   -- flattening of similar_ids
   (
       select
           id,
           similar_ids,
           arrayJoin(similar_ids) as flattened,
           agg as agg_from_id
       from
           -- table t
       (
                     select 1 as id, [2,3] as similar_ids, 3 as agg
           union all select 2 as id, [1,3] as similar_ids, 4 as agg
           union all select 3 as id, [1,2] as similar_ids, 5 as agg
           union all select 4 as id, [1,2, 3] as similar_ids, 10 as agg
           )
   ) as raw join
   -- copy of table t
   (
                     select 1 as id, [2,3] as similar_ids, 3 as agg
           union all select 2 as id, [1,3] as similar_ids, 4 as agg
           union all select 3 as id, [1,2] as similar_ids, 5 as agg
           union all select 4 as id, [1,2, 3] as similar_ids, 10 as agg
   ) as raw2 on raw.flattened = raw2.id
group by
   raw.id,
   raw.similar_ids,
   raw.agg_from_id


Вот таким мутным способом вроде получается нужный результат, но можно ли его получить проще?
источник

FN

Fred Navruzov in ClickHouse не тормозит
источник

DO

Dew Oughter in ClickHouse не тормозит
всем привет, подскажите пожалуйста в каком случае при запуске выгрузки кх может писать ошибку:
"Unknown function countIf: Or unknown aggregate function countIf"
вроде бы все правильно, но функцию не видит. каких-то дров не хватает?
источник

КР

Константин Руденок... in ClickHouse не тормозит
Всем привет, не было ни у кого проблем со стримингом данных Kafka -> CH (если это может влиять, то вариант облачного развертывания и того, и другого в Я)
Почему-то не хочет очередь видеть сообщения в топике, хотя они там есть.
В логах только предупреждения Parsing of message return no rows.
источник