Size: a a a

ClickHouse не тормозит

2020 September 17

SC

Sergey Cherkashin in ClickHouse не тормозит
Проблема в том, что когда я пытаюсь сделать
ALTER TABLE my.table
   MODIFY TTL timestamp + INTERVAL 1 WEEK DELETE,
   timestamp + INTERVAL 1 DAY TO DISK 'cold';

мне кликхаус говорит это
DB::Exception: No such disk `cold` for given storage policy..
источник

SC

Sergey Cherkashin in ClickHouse не тормозит
Sergey Cherkashin
Проблема в том, что когда я пытаюсь сделать
ALTER TABLE my.table
   MODIFY TTL timestamp + INTERVAL 1 WEEK DELETE,
   timestamp + INTERVAL 1 DAY TO DISK 'cold';

мне кликхаус говорит это
DB::Exception: No such disk `cold` for given storage policy..
Хотя в system.disks он есть
источник

M

Mikhail in ClickHouse не тормозит
а никто не юзает vector.dev? и может чисто случайно у кого-нибудь завалялась луашка, которая конвертит nested json в плоский с экранированием вложений в string для insert'a в clickhouse?
источник

SM

Sergei Maslovskiy ⚓️... in ClickHouse не тормозит
Всем привет. Ребят, кто может подсказать, есть ли такая возможность в кликхаусе?

Есть данные в таблице, где последнее поле это json массив объектов
order_id|date|[{"id": 111, "value": 1}, {"id": 112, "value": 1}]
order_id|date|[{"id": 111, "value": 1}]


есть ли возможность сделать выборку чтобы сагрегировать по полю value получив на выходе

[{"id": 111, "value": 2}, {"id": 112, "value": 1}]
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergei Maslovskiy ⚓️
Всем привет. Ребят, кто может подсказать, есть ли такая возможность в кликхаусе?

Есть данные в таблице, где последнее поле это json массив объектов
order_id|date|[{"id": 111, "value": 1}, {"id": 112, "value": 1}]
order_id|date|[{"id": 111, "value": 1}]


есть ли возможность сделать выборку чтобы сагрегировать по полю value получив на выходе

[{"id": 111, "value": 2}, {"id": 112, "value": 1}]
Можно превратить это в массивы массивов(либо туплов) и sumMap сделать, а потом обратно в JSON попробовать если вам так прям нужно
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вообще у КХ один бинарник.

clickhouse copier -- это вызов бинарника КХ с аргументом copier

clickhouse_copier это симлинк ==== clickhouse copier

clickhouse-client -- какую версию показывает?
копир может быть одной версии, сервер другой, копир это просто клиентская программа
ch версии 1.1.54046  :\
источник

SM

Sergei Maslovskiy ⚓️... in ClickHouse не тормозит
Dmitry Titov
Можно превратить это в массивы массивов(либо туплов) и sumMap сделать, а потом обратно в JSON попробовать если вам так прям нужно
ммм, а где почитать про такое? Это на лету перевести в массив массивов чтоле?
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
А подскажите ещё, есть запрос возвращающий 10 строк, и есть массив, в котором тоже 10 элементов. Как мне этот массив превратить в доп. колонку этого запроса, чтоб в каждой строке было по одному элементу из массива?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergei Maslovskiy ⚓️
ммм, а где почитать про такое? Это на лету перевести в массив массивов чтоле?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Николай Чернов
А подскажите ещё, есть запрос возвращающий 10 строк, и есть массив, в котором тоже 10 элементов. Как мне этот массив превратить в доп. колонку этого запроса, чтоб в каждой строке было по одному элементу из массива?
А по какому принципу то хочешь их соединить? а так смотри ARRAY JOIN, ток в лоб это не совсем то, что ты хочешь.
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
Dmitry Titov
А по какому принципу то хочешь их соединить? а так смотри ARRAY JOIN, ток в лоб это не совсем то, что ты хочешь.
array join мне произведение делает (получается 100 строк)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Cherkashin
Проблема в том, что когда я пытаюсь сделать
ALTER TABLE my.table
   MODIFY TTL timestamp + INTERVAL 1 WEEK DELETE,
   timestamp + INTERVAL 1 DAY TO DISK 'cold';

мне кликхаус говорит это
DB::Exception: No such disk `cold` for given storage policy..
хм, надо проверить, возможно я ошибаюсь. Полиси у таблицы можно поменять, alter table ... modify settings policy=
источник

DT

Dmitry Titov in ClickHouse не тормозит
Николай Чернов
array join мне произведение делает (получается 100 строк)
Ну а как объединить то хочешь :)
возможно arrayElement(arr,rowNumberInAllBlocks()) такое, но все зависит от логики объединения
источник

SC

Sergey Cherkashin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
хм, надо проверить, возможно я ошибаюсь. Полиси у таблицы можно поменять, alter table ... modify settings policy=
Ну вот я уже этим занимаюсь.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Анатолий Костюшин
ch версии 1.1.54046  :\
про это не знаю, возможно не было еще копира.
зачем вам копир?  перенести на другой сервер/на новую версию?
сколько нод? шардов?

и скорее всего копир от 19.14 сможет скопировать и эту базу
источник

SM

Sergei Maslovskiy ⚓️... in ClickHouse не тормозит
хмм, окей, спасибо
источник

НЧ

Николай Чернов... in ClickHouse не тормозит
Dmitry Titov
Ну а как объединить то хочешь :)
возможно arrayElement(arr,rowNumberInAllBlocks()) такое, но все зависит от логики объединения
Хорошо, тогда поконкретней скажу. Массив - это массив кортежей, в каждом кортеже надо сматчить одно значение с одним полем из запроса
источник

DT

Dmitry Titov in ClickHouse не тормозит
Николай Чернов
Хорошо, тогда поконкретней скажу. Массив - это массив кортежей, в каждом кортеже надо сматчить одно значение с одним полем из запроса
мб сделать JOIN а до этого развернуть этот массив в таблицу.
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
про это не знаю, возможно не было еще копира.
зачем вам копир?  перенести на другой сервер/на новую версию?
сколько нод? шардов?

и скорее всего копир от 19.14 сможет скопировать и эту базу
Кластер из 3 нод
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
про это не знаю, возможно не было еще копира.
зачем вам копир?  перенести на другой сервер/на новую версию?
сколько нод? шардов?

и скорее всего копир от 19.14 сможет скопировать и эту базу
Спасибо попробуем завтра
источник