Size: a a a

ClickHouse не тормозит

2021 January 21

VT

Vladimir Tretyakov in ClickHouse не тормозит
A какая сейчас вообще последняя стабильная версия?
Мы поставили себе
ClickHouse client version 20.8.7.15 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.8.7 revision 54438.
источник

VT

Vladimir Tretyakov in ClickHouse не тормозит
Безопасно переехать на 20.8.12.2-lts ?
источник

D

Dj in ClickHouse не тормозит
Vladimir Tretyakov
Безопасно переехать на 20.8.12.2-lts ?
да, внутри Major версий новых фич нет, обычно безопасно ставить последнюю
источник

VT

Vladimir Tretyakov in ClickHouse не тормозит
Отлично, попробуем 20.8.12.2-lts
источник

NK

Nursultan Kariev in ClickHouse не тормозит
Всем привет, есть задача перенести около 50 таблиц с оракла в кликхаус со строгой типизацией числовых полей (то есть не могу указать все поля Float64 или String). Есть ли какая-нибудь возможность автоматизировать данную задачу, может кто-нибудь сталкивался? Буду признателен любому совету
источник

M

Munir in ClickHouse не тормозит
Nursultan Kariev
Всем привет, есть задача перенести около 50 таблиц с оракла в кликхаус со строгой типизацией числовых полей (то есть не могу указать все поля Float64 или String). Есть ли какая-нибудь возможность автоматизировать данную задачу, может кто-нибудь сталкивался? Буду признателен любому совету
реляционные и колоночные БД не просто так отличаются, возможно более корректно будет проработать совсем новую структуру БД, с другим количеством таблиц
источник

PZ

Pavel Zemskov in ClickHouse не тормозит
params - json объект
Хочу на выходе получить строку со всеми step, которые были в эвентах, внутри params.
Подскажите, пожалуйста, почему такая конструкция не работает:
select cookie_id,
arrayStringConcat(visitParamExtractString(params,'step'), '-') steps
group by cookie_id
Выдает ошибку:
DB::Exception: Column params is not under aggregate function and not in GROUP BY
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Добрый день коллеги
Мне необходимо
SELECT
 ....
 count()
FROM ...
 GROUP BY ...

для каждой строки подсчитать % от общего числа

Можно ли в ClickHouse это сделать без формирования промежуточной таблицы?
источник

AP

Alexander Petrov in ClickHouse не тормозит
Alexey Kostarev
Добрый день коллеги
Мне необходимо
SELECT
 ....
 count()
FROM ...
 GROUP BY ...

для каждой строки подсчитать % от общего числа

Можно ли в ClickHouse это сделать без формирования промежуточной таблицы?
источник

AP

Alexander Petrov in ClickHouse не тормозит
Pavel Zemskov
params - json объект
Хочу на выходе получить строку со всеми step, которые были в эвентах, внутри params.
Подскажите, пожалуйста, почему такая конструкция не работает:
select cookie_id,
arrayStringConcat(visitParamExtractString(params,'step'), '-') steps
group by cookie_id
Выдает ошибку:
DB::Exception: Column params is not under aggregate function and not in GROUP BY
params нет в group by и params ни как не агрегируется
источник

PZ

Pavel Zemskov in ClickHouse не тормозит
Alexander Petrov
params нет в group by и params ни как не агрегируется
arrayStringConcat - агрегирует же вроде в одну строку?
источник

AP

Alexander Petrov in ClickHouse не тормозит
Pavel Zemskov
arrayStringConcat - агрегирует же вроде в одну строку?
Это не функция агрегации строк, это функция агрегации элементов массива.
источник

PZ

Pavel Zemskov in ClickHouse не тормозит
Alexander Petrov
Это не функция агрегации строк, это функция агрегации элементов массива.
groupArray должна помочь значит, спасибо
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Вроде как 3-й пример близок, но у меня таблицы system.parts
сложный многоуровневый SELECT с GROUP BY
Придется его дублировать
И не будет ли в этом случае запрос (или сканирование таблицы system.parts как в примере) выполняться дважды?

Хотя покопаю теорию - прикину
источник

AP

Alexander Petrov in ClickHouse не тормозит
Alexey Kostarev
Вроде как 3-й пример близок, но у меня таблицы system.parts
сложный многоуровневый SELECT с GROUP BY
Придется его дублировать
И не будет ли в этом случае запрос (или сканирование таблицы system.parts как в примере) выполняться дважды?

Хотя покопаю теорию - прикину
Можно ещё через дополнительный вложенный запрос. Схлопнуть до TOTAL детализации, расчитываемый столбец пихнуть в массив и тут же его развернуть через array join, а рядом посчитать итого.
источник

P

Pavel in ClickHouse не тормозит
привет всем, есть ли готовые решения аналитики, типа yandex аналитики, под ClickHouse, но чтоб я держал это дело на своем серваке данные, даталинз ковырял уже, но может есть прям вообще типа опенсорсов каких то? Спасибо!
источник

M

Mishanya in ClickHouse не тормозит
Alexey Kostarev
Вроде как 3-й пример близок, но у меня таблицы system.parts
сложный многоуровневый SELECT с GROUP BY
Придется его дублировать
И не будет ли в этом случае запрос (или сканирование таблицы system.parts как в примере) выполняться дважды?

Хотя покопаю теорию - прикину
так в with нужно будет только 1 поле выбрать - with select sum(value) from my_table as total select (value/total) * 100 from … group by
источник

AP

Alexander Petrov in ClickHouse не тормозит
Alexey Kostarev
Вроде как 3-й пример близок, но у меня таблицы system.parts
сложный многоуровневый SELECT с GROUP BY
Придется его дублировать
И не будет ли в этом случае запрос (или сканирование таблицы system.parts как в примере) выполняться дважды?

Хотя покопаю теорию - прикину
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Да спасибо - использование массивов должно помочь
Прикину на свой случай
источник

D

Dj in ClickHouse не тормозит
@den_crane - как почётный джун вы должны знать...
как узнать в каком именно релизе пофикшен баг, не делая дельту между релизами руками? я на митапе спрашивал, но так и не понял ничего (

например вот баг: https://github.com/ClickHouse/ClickHouse/issues/18210

раньше я переходил в мердж, смотрел в коммит и там были теги
https://github.com/ClickHouse/ClickHouse/pull/18806/commits тут вижу
master (#18806)  v21.1.2.15-stable  v21.1.1.5738-testing v21.1.1.5707-testing v21.1.1.5704-testing v21.1.1.5646-prestable v21.1.1.5643-prestable v21.1.0-testing

но мне нужно знать в каком релизе 20.8 он пофикшен (я уже знаю что в 20.8.12 но я руками искал в дельте релизов и прикидывал даты)
источник