Size: a a a

ClickHouse не тормозит

2020 August 24

SC

Smoked Cheese in ClickHouse не тормозит
Можно в запросе доагрегировать
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
т.е. оставить в реплейсинге такую же структуру данных из агрегатных функций как сейчас, а ключ у него какой в таком случае будет, если по сути надо сохранять самую раннюю запись для пользователя?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Konstantin Sevastianov
т.е. оставить в реплейсинге такую же структуру данных из агрегатных функций как сейчас, а ключ у него какой в таком случае будет, если по сути надо сохранять самую раннюю запись для пользователя?
account_id

единственное вам нужно указать version column, притом так что бы наиболее ранняя дата имела большее значение:
те можно добавить столбец в котором вы будете хранить значение обратное времени, либо в самом определении движка таблицы вписать (Max_UInt32 - created_dttm) либо (-created_dttm).
Но нужно проверить, правильно ли оно будет работать
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
Dmitry Titov
account_id

единственное вам нужно указать version column, притом так что бы наиболее ранняя дата имела большее значение:
те можно добавить столбец в котором вы будете хранить значение обратное времени, либо в самом определении движка таблицы вписать (Max_UInt32 - created_dttm) либо (-created_dttm).
Но нужно проверить, правильно ли оно будет работать
ок, попробую. спасибо большое =)
источник

SP

Sergey Platonov in ClickHouse не тормозит
есть ли функция аналогичная group_concat или только так? arrayStringConcat(groupArray(name)) ??
источник

l

lnuynxa in ClickHouse не тормозит
Sergey Platonov
есть ли функция аналогичная group_concat или только так? arrayStringConcat(groupArray(name)) ??
Только так думаю
источник

SP

Sergey Platonov in ClickHouse не тормозит
ок
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
Sergey Platonov
есть ли функция аналогичная group_concat или только так? arrayStringConcat(groupArray(name)) ??
а почему бы не использовать две функции так, как ты написал?
источник

l

lnuynxa in ClickHouse не тормозит
Pavel Tyavin 🐈
а почему бы не использовать две функции так, как ты написал?
Что бы не иметь лишних перекладываний в памяти или преобразований допустим
источник

P🐈

Pavel Tyavin 🐈 in ClickHouse не тормозит
lnuynxa
Что бы не иметь лишних перекладываний в памяти или преобразований допустим
А ты уверен, что они есть?
источник

l

lnuynxa in ClickHouse не тормозит
Я допускаю, что они могут быть
источник

SP

Sergey Platonov in ClickHouse не тормозит
Pavel Tyavin 🐈
а почему бы не использовать две функции так, как ты написал?
Да можно и так, вопрос был скорее в том, не просмотрел ли я готову функцию
источник

w

waaaaaaaaat in ClickHouse не тормозит
Всем привет. У меня очень странные вещи с КХ происходят, может вы сможете подсказать что-то.

Первый запрос - тот, который мне нужен (он еще не дописан, но должен работать). Падает с очень странной ошибкой.

SELECT 
   arrayFlatten(groupUniqArray(categories)) AS categoriesArray,
   count() AS count
FROM decisions
WHERE eventDate >= '2020-08-20'
GROUP BY categoriesArray
ORDER BY count DESC

Received exception from server (version 19.11.3):
Code: 47. DB::Exception: Received from localhost:9000. DB::Exception: Unknown identifier: groupUniqArray(categories).

0 rows in set. Elapsed: 0.086 sec.

Второй запрос - просто руками написал. Работает.

SELECT arrayFlatten(groupUniqArray(categories)) AS categories
FROM decisions

↖️ Progress: 79.44 million rows, 2.29 GB (41.59 million rows/s., 1.20 GB/s.) ██████▋                                                                                   Cancelling query.
Ok.
Query was cancelled.

0 rows in set. Elapsed: 2.012 sec. Processed 79.44 million rows, 2.29 GB (39.49 million rows/s., 1.14 GB/s.)

Так уже несколько раз повторил.
Как возможно падение первого, но работа второго?
и с чего вообще первый может с такой ошибкой падать?
Особенно учитывая, что это прод, и на нём запросы с вызовами этих же функций уже довольно длительное время крутятся.
источник

DT

Dmitry Titov in ClickHouse не тормозит
groupUniqArray агрегатная функция, те ты хочешь с агрегировать данные по какому то ключу. но в GROUP BY ты пишешь результат этой агрегатной функции. и получается рекурсия
источник

SP

Sergey Platonov in ClickHouse не тормозит
не понял. У меня есть несколько строк с одинаковым ключем и разным содержанием строкового поля. Мне нужно строковые поля собрать в одно поле
источник

SP

Sergey Platonov in ClickHouse не тормозит
никакой рекурсии
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Platonov
не понял. У меня есть несколько строк с одинаковым ключем и разным содержанием строкового поля. Мне нужно строковые поля собрать в одно поле
Я отвечал @rkhasanshin
источник

SP

Sergey Platonov in ClickHouse не тормозит
ок
источник

w

waaaaaaaaat in ClickHouse не тормозит
Dmitry Titov
groupUniqArray агрегатная функция, те ты хочешь с агрегировать данные по какому то ключу. но в GROUP BY ты пишешь результат этой агрегатной функции. и получается рекурсия
черт... спасибо большое, понял
источник

A

Alex in ClickHouse не тормозит
Коллеги, доброго времени суток, такой вопрос, имеется таблица ReplacingMergeTree, примерно на 1k строк +-30 строк вставляется с таким же ключом сортировки, как сильно отразится производительность от модификатора FINAL на больших объемах?
источник