Size: a a a

ClickHouse не тормозит

2021 January 20

O1

Olexander 1 in ClickHouse не тормозит
Здравствуйте!
Помогите, пожалуйста, советом
Есть таблица ReplacingMergeTree

CREATE TABLE table_arrays(id UInt32,docs Array(UInt32)) ENGINE ReplacingMergeTree() ORDER BY id;

И я вставляю данные

INSERT INTO table_arrays
VALUES (1000, [1,2,3]), (1001, [3,4,5]);

INSERT INTO table_arrays
VALUES (1000, [1,4]);

Можно ли сделать так, чтобы после схлопывания или во время вставки, массивы объединялись по ключу сортировки (id)
Сейчас
select * from table_arrays;

┌───id─┬─docs────┐
│ 1000 │ [1,2,3] │
│ 1001 │ [3,4,5] │
└──────┴─────────┘

А нужно
┌───id─┬─docs────┐
│ 1000 │ [1,2,3,4] │
│ 1001 │ [3,4,5] │
└──────┴─────────┘
источник

ME

Mike E. in ClickHouse не тормозит
Коллеги привет, пробуем обновиться на последний стэйбл - 2021.01.20 12:36:40.356251 [ 74546 ] {} <Error> Application: DB::Exception: No macro 'shard2017' in config while processing substitutions in '/clickhouse/tables/{shard2017}/dnl_int_dnl_log_local' at '20' or macro is not supported here: Cannot attach table dnl_int
источник

ME

Mike E. in ClickHouse не тормозит
что-то поменялось в конфигах*
источник

ME

Mike E. in ClickHouse не тормозит
?
источник

D

Dj in ClickHouse не тормозит
Владислав Юсюмбели
Добрый день! Может кто-нибудь подсказать сколько раз будет вычиляться функция arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) в этом запросе?
SELECT arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) as last_mailing_result
FROM log_record
having arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) LIKE 'хорошо';
1
источник

ВЮ

Владислав Юсюмбели... in ClickHouse не тормозит
А можно ненмного поподробней? Каким образом это работает или мб в документации это где-то описано?
источник

DN

Demetra Nadya in ClickHouse не тормозит
Можно ли добавлять индексы группировки после создания таблицы?
источник

NK

Nickolay Khokhlov in ClickHouse не тормозит
Доброго времени суток, обнаружилась проблема с INSERT в ReplicatedSummingMergeTree (1 шард - 2 реплики).
при INSERT с такими же значениями (даже через большой интервал времени в несколько часов) этот INSERT "игнорируется" в сумме, хотя и выполняется без ошибок.
Это так работает удаление дубликатов?
SELECT version()
20.12.5.14
источник

M

Munir in ClickHouse не тормозит
Demetra Nadya
Можно ли добавлять индексы группировки после создания таблицы?
куда добавлять?
источник

M

Munir in ClickHouse не тормозит
может кто сталкивался? (если не любите null, то должны)). https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-input-format-null-as-default работает только при указании, как флага при подключении. если указывать в конфиге (табличка system.settings изменяется), то не работает. :) это так и должно быть?
источник

DN

Demetra Nadya in ClickHouse не тормозит
Munir
куда добавлять?
Создавать для таблицы. Например нужен индекс на (дата, идентификатор компании) потом может понадобиться создать (дата, идентификатор города) или (дата, идентификатор хоста)
источник

D

Dj in ClickHouse не тормозит
Владислав Юсюмбели
А можно ненмного поподробней? Каким образом это работает или мб в документации это где-то описано?
сначала groupArray  - получается одна строка. на ней уже expression
источник

M

Munir in ClickHouse не тормозит
Demetra Nadya
Создавать для таблицы. Например нужен индекс на (дата, идентификатор компании) потом может понадобиться создать (дата, идентификатор города) или (дата, идентификатор хоста)
там добавлять к индексу поля можно было. а вот менять порядок или изменять точно нет. данные сортированные лежат в файлах и добавление поля к индексу - не сильно сломает. а новый порядок - это полностью перебрать все данные. тоже самое - делайте руками и управляемо
источник

AR

Andrej Rastoff in ClickHouse не тормозит
Всем привет.
Подскажите, пожалуста, как правильно обновиться с 19 на 20 CH, если он крутится в докере (данные и конфиг, конечно - снаружи контейнера):
- можно просто скачать новый базовый образ и новый контейнер поднять (подмонтировав теже данные и при необходимости подпилить конфиг, если он стал несовместим)?
- или во время обновления что либо еще делается, кроме замены бинарника/либ -  с данными/метаданными/системными таблицами? и тогда нужно внутри контейнера запустить апдейт?
источник

NK

Nickolay Khokhlov in ClickHouse не тормозит
Nickolay Khokhlov
Доброго времени суток, обнаружилась проблема с INSERT в ReplicatedSummingMergeTree (1 шард - 2 реплики).
при INSERT с такими же значениями (даже через большой интервал времени в несколько часов) этот INSERT "игнорируется" в сумме, хотя и выполняется без ошибок.
Это так работает удаление дубликатов?
SELECT version()
20.12.5.14
в логах нашли
Block with ID 202101_2180591676372156159_10680116372015693460 already exists locally as part 20210119_20210119_89_89_0; ignoring it.

как с этим бороться?
источник

СФ

Сергей Фесенко... in ClickHouse не тормозит
Andrej Rastoff
Всем привет.
Подскажите, пожалуста, как правильно обновиться с 19 на 20 CH, если он крутится в докере (данные и конфиг, конечно - снаружи контейнера):
- можно просто скачать новый базовый образ и новый контейнер поднять (подмонтировав теже данные и при необходимости подпилить конфиг, если он стал несовместим)?
- или во время обновления что либо еще делается, кроме замены бинарника/либ -  с данными/метаданными/системными таблицами? и тогда нужно внутри контейнера запустить апдейт?
Добрый день.
Мы апдейтились просто заменой версии контейнера, конкретно на 20.3 версию, фолдеры с данными просто подмонтировали на новый контейнер и все поднялось.
Но тут надо смотреть именно по использованию (changelog глянуть для 20.3 версии) так как там есть изменения по использованию. Конкретно у нас были какие то нюансы с JOIN если я правильно помню
источник

AR

Andrej Rastoff in ClickHouse не тормозит
я, конечно, читал changelog - там мильены изменений, после той версии, что у нас есть...)))
источник

AR

Andrej Rastoff in ClickHouse не тормозит
нет правила с какой на какую версию можно обновляться?)
источник

D

Dmitry in ClickHouse не тормозит
Всем привет! подскажите пожалуйста, как лучше всего организовать хранение вложенных списков , категории товаров, услуг , домов?


например:
-География
 - Московская область
  - Москва
  -Пр. Мира
Товары
-Для дома
  -для дачи
Для Работы
-Спец одежда
.....
источник

M

Munir in ClickHouse не тормозит
Dmitry
Всем привет! подскажите пожалуйста, как лучше всего организовать хранение вложенных списков , категории товаров, услуг , домов?


например:
-География
 - Московская область
  - Москва
  -Пр. Мира
Товары
-Для дома
  -для дачи
Для Работы
-Спец одежда
.....
Для чего вам категории? это справочники?
источник