Size: a a a

ClickHouse не тормозит

2020 May 25

DC

Denny Crane (I don't... in ClickHouse не тормозит
имхл если внутри лямбды обращение к массиву, делается копия массива
источник

l

lnuynxa in ClickHouse не тормозит
Dj
нет, нужно WITH (SELECT ...)
а, понь
источник

AK

Anton Kosyanenko in ClickHouse не тормозит
Всем доброго вечера.

Подскажите. пожаоуйста.
есть таблица orders
orderId               UInt32,
userId                UInt32,
cti
me                 DateTime

Как выбрать первые заказы пользователей в КХ?
источник

l

lnuynxa in ClickHouse не тормозит
argMin(order_id,ctime) GROUP BY user_id
источник

l

lnuynxa in ClickHouse не тормозит
ну или  ORDER BY user_id, ctime ASC LIMIT 1 BY user_id
источник

AK

Anton Kosyanenko in ClickHouse не тормозит
lnuynxa
argMin(order_id,ctime) GROUP BY user_id
огромнейшее спасибо!
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
имхл если внутри лямбды обращение к массиву, делается копия массива
аха, что и требовалось доказать:
WITH (select range(1,1000) as arr) as val
select number, val from numbers(100000) where arrayExists(x-> x=number, val )
Format Null;
---
Peak memory usage (for query): 706.02 MiB.

2000: Peak memory usage (for query): 1.38 GiB.
3000: Peak memory usage (for query): 2.75 GiB.
4000: Peak memory usage (for query): 2.75 GiB.
5000: Peak memory usage (for query): 5.50 GiB.
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
имхл если внутри лямбды обращение к массиву, делается копия массива
а почему такое вы не знаете? т.е. так задумано наверно же?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
а почему такое вы не знаете? т.е. так задумано наверно же?
set max_block_size=1 https://github.com/ClickHouse/ClickHouse/issues/5105
а нет не копия
источник

D

Dj in ClickHouse не тормозит
не объясняет... но судя по стектрейсу вы правы и он именно копирует...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
If b is also an array, it will be multiplied by the size of a in memory:

a[1], ['x', 'y', 'z']
a[2], ['x', 'y', 'z']
a[3], ['x', 'y', 'z']

if a has size 3 and b has size 3, we need 3 * 3 = 9 elements to keep in memory for calculations.
источник

D

Dj in ClickHouse не тормозит
WITH (select range(1,30000) as arr) as val
select number, val from numbers(100000) where arrayExists(x-> x=number, val )
Format Null;

проверьте плиз кто-нибудь на старых версиях
сколько ест?
у меня Peak memory usage (for query): 22.00 GiB.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
19.13.7.57 Peak memory usage (for query): 22.00 GiB.
источник

D

Dj in ClickHouse не тормозит
set max_block_size=1;
MemoryTracker: Peak memory usage (for query): 5.16 MiB.


логика ясна! спасибо )
источник

D

Dj in ClickHouse не тормозит
а arrayExists с PK индексом завести никак нельзя?
источник

D

Dj in ClickHouse не тормозит
как сделать так, чтобы клиент не печатал запрос в красивом и отформатированном виде (запрос очень большой, занимает место на экране и время)
источник

l

lnuynxa in ClickHouse не тормозит
Dj
как сделать так, чтобы клиент не печатал запрос в красивом и отформатированном виде (запрос очень большой, занимает место на экране и время)
Format Null
источник

l

lnuynxa in ClickHouse не тормозит
а, ты про сам текст
источник

D

Dj in ClickHouse не тормозит
нет, я про сам текст запроса
источник
2020 May 26

A

Anton in ClickHouse не тормозит
Всем привет!

Как можно загружать метрики из системы мониторинга (REST API) в ClickHouse?
источник