Size: a a a

ClickHouse не тормозит

2020 July 27

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
2020.07.27 17:10:19.859413 [ 198 ] {} <Fatal> BaseDaemon: ########################################
2020.07.27 17:10:19.859490 [ 198 ] {} <Fatal> BaseDaemon: (version 20.4.4.18 (official build)) (from thread 106) (query_id: f58d99fb-c4aa-4f1e-8e9e-055709d32e84) Received signal Segmentation fault (11).
2020.07.27 17:10:19.859515 [ 198 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
2020.07.27 17:10:19.859542 [ 198 ] {} <Fatal> BaseDaemon: Stack trace: 0xd50ed01 0xd50fafd 0xd50d720 0xd50d769 0xd50d769 0xd50a7a9 0xd50d09e 0xd4e2833 0xd236379 0xd2398ef 0xd23b272 0xd7e80fc 0xd26fd9a 0xd273582 0xd23902d 0xd409dc5 0xd54973c 0xd54d025 0x9106678 0x9107650 0x10304f4b 0x103053db 0x104b2fa6 0x104ae260 0x7f36107c16db 0x7f3610e9888f
источник

V

Vitalij in ClickHouse не тормозит
хмм, интерестно. Спасибо
источник

D

Dj in ClickHouse не тормозит
Дмитрий Демьянович
SELECT
   Date,
   SUM(Sent) AS AllSent,
   SUM(Opened) AS AllOpened,
   SUM(Clicked) AS AllClicked,
   SUM(Sent) > 0 AS UniqueSent,
   SUM(Opened) > 0 AS UniqueOpened,
   SUM(Clicked) > 0 AS UniqueClicked
FROM Events_Buffer AS t1 ANY INNER JOIN (
       SELECT
           MessageId,
           Identity,
           SUM(multiIf(Type = 'Sent', 1, 0)) AS Sent,
           SUM(multiIf(Type = 'Opened', 1, 0)) AS Opened,
           SUM(multiIf(Type = 'Clicked', 1, 0)) AS Clicked
           FROM Retention.Events_Local WHERE (Type IN ('Sent', 'Opened', 'Clicked')) AND (Realm = 'dating') AND (Date >= '2020-07-20') AND (Date <= '2020-07-27') AND (Channel IN ('electronicmail')) GROUP BY MessageId, Identity) AS t2
ON t2.MessageId = t1.MessageId AND t2.Identity = t1.Identity
WHERE (Type = 'Sent') AND (Date >= '2020-07-20') AND (Date <= '2020-07-27') GROUP BY Date, Identity, MessageId
сколько в правой таблице строк возвращается? может оно по памяти на самом деле падает...

>AS t2
ON t2.MessageId = t1.MessageId AND t2.Identity = t1.Identity

совпадают ли типы? есть ли среди них low cardinality?
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
В правой таблице 894507 на одной из шард
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
По памяти врядли
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Типы данных совпадают, т.к. это Join на эту же структуру данных, т.к. тут к отправкам нужно открытия и клики сджойнить
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
low cardinality типов нет
источник

D

Dj in ClickHouse не тормозит
Дмитрий Демьянович
В правой таблице 894507 на одной из шард
попробуйте подзапрос правый выполнить, с трейсом. сколько памяти кушает
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Дело точно не в памяти, т.к. этот же запрос сейчас работает, если не указывать джойн на buffer
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
FROM Events_Buffer AS t1 вот это я заменил на Events и все работает
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Events это Distributed
источник

D

Dj in ClickHouse не тормозит
Дмитрий Демьянович
Дело точно не в памяти, т.к. этот же запрос сейчас работает, если не указывать джойн на buffer
запускайте с трейсом, так не понять
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
С трейсом, к сожалению, уже не выполнить, ибо это prod окрежение, уже откатили этот джойн
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Пока сделали вставку через buffer, чтение из Distributed. В select будут отсутсвовать данные из буфера собранные за 1.5 минуты, но это вроде не критично
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Trace
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
2020.07.27 18:04:52.773591 [ 244 ] {a5dfae51-14fa-4d5b-8af1-ad36998b4981} <Trace> Aggregator: Merging aggregated data
2020.07.27 18:04:53.062617 [ 193 ] {a5dfae51-14fa-4d5b-8af1-ad36998b4981} <Information> executeQuery: Read 1480781 rows, 134.37 MiB in 0.675 sec., 2194139 rows/sec., 199.10 MiB/sec.
2020.07.27 18:04:53.062758 [ 193 ] {a5dfae51-14fa-4d5b-8af1-ad36998b4981} <Debug> MemoryTracker: Peak memory usage (for query): 200.30 MiB.
(END)
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Это правый запрос на одной из шард
источник

V

Vladimir in ClickHouse не тормозит
Привет! Кто-то может что-то сказать о производительности url parse в clickhouse? Применяется ли там simd?
источник

M

Maxim Bogdanov in ClickHouse не тормозит
А у кого-нибудь есть дока по алгоритму сортировки и мерджа? Очень хочется разобраться. Но код читать тяжеловато.
источник