Size: a a a

ClickHouse не тормозит

2021 March 01

DN

Demetra Nadya in ClickHouse не тормозит
Нужно типа составного ключа по 5 столбцам и их сумма
источник

DN

Demetra Nadya in ClickHouse не тормозит
Например, у меня был разрез по девайсам summap([device],[1])
источник

DN

Demetra Nadya in ClickHouse не тормозит
Сейчас нужно типа summap([mark,model,etc..],[1,1,1?])
источник

DN

Demetra Nadya in ClickHouse не тормозит
И результат типа в ключе 'Toyota Mark 1996 etc': 15435
источник

DN

Demetra Nadya in ClickHouse не тормозит
Сейчас такой вывод
источник

DN

Demetra Nadya in ClickHouse не тормозит
/{'part_type_id': 38, 'count_result': 3240, 'part_detail': {0: 12871, 1: 27, 2: 111, 3: 1, 4: 341, 5: 23, 6: 208, 7: 114, 8: 367, 9: 118, 10: 76, 11: 1038, 12: 1, 13: 40, 14: 43, 15: 70, 16: 23, 17: 80, 18: 12, 19: 6, 20: 1, 22: 6, 23: 6, 24: 12, 25: 38, 26: 8, 27: 32, 29: 20, 31: 6, 32: 36, 34: 2, 35: 14, 36: 27, 37: 1, 38: 10, 39: 13, 41: 16, 42: 11, 45: 5, 48: 6, 50: 73, 51: 48, 52: 20, 54: 1, 56: 1, 57: 42, 58: 2, 64: 2, 67: 2, 1992: 1, 1995: 1, 1997: 3, 1999: 3, 2000: 5, 2001: 6, 2002: 4, 2003: 6, 2004: 15, 2005: 3, 2006: 8, 2007: 15, 2008: 7, 2009: 3, 2010: 15, 2011: 4, 2012: 18, 2013: 8, 2014: 30, 2015: 2, 2016: 4, 30070: 2, 30105: 1, 30108: 2, 30109: 2, 30110: 1}},
источник

DN

Demetra Nadya in ClickHouse не тормозит
/stat@combot
источник

C

Combot in ClickHouse не тормозит
Total messages: 206599
источник

DN

Demetra Nadya in ClickHouse не тормозит
то есть совсем не то что нужно
источник

DN

Demetra Nadya in ClickHouse не тормозит
в ключи попали отдельно идентификаторы, года. Мне нужно именно, чтобы это было группировкой. Типа part_type_id = 38 это допустим бампер. Нужно для него получить данные в таком виде: {'Toyota Corolla 1996 кузов, двигатель': 100, 'Toyota Corolla 1997 кузов, двигатель': 200, 'Nissan .. 2000 кузов дв': 345}
источник

DN

Demetra Nadya in ClickHouse не тормозит
источник

EE

Evgenii Edigarev in ClickHouse не тормозит
Evgenii Edigarev
Добрый день.
Есть таблица с TTL для переноса партиций на более медленный диск через 1 месяц.
Заметили странное накомление данных на исходном диске в каталоге
/var/lib/clickhouse/data/default/TABLENAME/moving
Причём эти данные не фигурируют в записях system.parts.

Как удостовериться, что данные перемещаются на другой диск корректно?
Для чего используется этот каталог moving? Судя по логам - как место для копии pertition перед перемещением, а зачем?
Как безопасно очистить moving каталог таблицы?
Плюсом странные сообщения из логов
<Warning> default.TABLENAME: Would like to reserve space on disk 'default' by TTL rule of table 'default.TABLENAME' but there is not enough space
при том что на диске место есть, в том числе с учётом keep_free_space.
источник

M

M in ClickHouse не тормозит
Всем привет!

1. Подскажите, пожалуйста, если на 1 шард есть 2 реплики и одна из реплик становится недоступной, то Replicated таблицы встают в readonly mode или нет? И после восстановления реплики данные сами засинхронятся или нужно что-то сделать?

2. При добавлении еще одной реплики данные на ней сами появятся, или нужно что-то сделать, чтобы это случилось?
источник

DT

Dmitry Titov in ClickHouse не тормозит
M
Всем привет!

1. Подскажите, пожалуйста, если на 1 шард есть 2 реплики и одна из реплик становится недоступной, то Replicated таблицы встают в readonly mode или нет? И после восстановления реплики данные сами засинхронятся или нужно что-то сделать?

2. При добавлении еще одной реплики данные на ней сами появятся, или нужно что-то сделать, чтобы это случилось?
1.  Replicated таблицы встают в readonly mode или нет?
Нет.
> И после восстановления реплики данные сами засинхронятся или нужно что-то сделать?
Да, но возможно потребуется установить флаг https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/#recovery-after-failures

> При добавлении еще одной реплики данные на ней сами появятся, или нужно что-то сделать, чтобы это случилось?

Да
источник

M

M in ClickHouse не тормозит
Dmitry Titov
1.  Replicated таблицы встают в readonly mode или нет?
Нет.
> И после восстановления реплики данные сами засинхронятся или нужно что-то сделать?
Да, но возможно потребуется установить флаг https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/#recovery-after-failures

> При добавлении еще одной реплики данные на ней сами появятся, или нужно что-то сделать, чтобы это случилось?

Да
Спасибо!
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Добрый день, подскажите пожалуйста, почему КХ выдает крайне разные значения на одинаковый запрос (результат может быть от 0, до реального количества строк), в таблице данные за несколько месяцев, таблица не большая, записей несколько сотен тысяч всего.

SELECT _ActionID, _Created, _StatusID as status, Number FROM (SELECT ActionID AS _ActionID, argMin(Created, CreatedServer) AS _Created, argMax(StatusID, CreatedServer) AS _StatusID, count() as Number FROM actions GROUP BY ActionID) WHERE (_Created > 1612112400 AND _Created < 1614531599) AND (_StatusID = 1)

CREATE TABLE default.actions (`ActionID` String, `Created` DateTime, `UserID` String, `StatusID` UInt8, `CreatedServer` UInt64) ENGINE = MergeTree() PARTITION BY toYYYYMM(Created) ORDER BY (ActionID, Created, UserID) SETTINGS index_granularity = 8192
источник

DT

Dmitry Titov in ClickHouse не тормозит
Andrew (backEnd)
Добрый день, подскажите пожалуйста, почему КХ выдает крайне разные значения на одинаковый запрос (результат может быть от 0, до реального количества строк), в таблице данные за несколько месяцев, таблица не большая, записей несколько сотен тысяч всего.

SELECT _ActionID, _Created, _StatusID as status, Number FROM (SELECT ActionID AS _ActionID, argMin(Created, CreatedServer) AS _Created, argMax(StatusID, CreatedServer) AS _StatusID, count() as Number FROM actions GROUP BY ActionID) WHERE (_Created > 1612112400 AND _Created < 1614531599) AND (_StatusID = 1)

CREATE TABLE default.actions (`ActionID` String, `Created` DateTime, `UserID` String, `StatusID` UInt8, `CreatedServer` UInt64) ENGINE = MergeTree() PARTITION BY toYYYYMM(Created) ORDER BY (ActionID, Created, UserID) SETTINGS index_granularity = 8192
argMin(Created, CreatedServer) AS _Created,
       argMax(StatusID, CreatedServer) AS _StatusID,

А вы точно хотите именно так?

оно вернет значения created для максимального CreatedServer
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Dmitry Titov
argMin(Created, CreatedServer) AS _Created,
       argMax(StatusID, CreatedServer) AS _StatusID,

А вы точно хотите именно так?

оно вернет значения created для максимального CreatedServer
да, я таким образом верну значение даты создания экшена, а не дату, когда пришло обновление статуса.
Created - дата создания на клиенте (могут быть дубликаты)
CreatedServer - зафиксированное время создания на сервере.
StatusID - статус, который обновляется путем дублирования записи с тем же ActionID
источник

DT

Dmitry Titov in ClickHouse не тормозит
Andrew (backEnd)
да, я таким образом верну значение даты создания экшена, а не дату, когда пришло обновление статуса.
Created - дата создания на клиенте (могут быть дубликаты)
CreatedServer - зафиксированное время создания на сервере.
StatusID - статус, который обновляется путем дублирования записи с тем же ActionID
Хорошо, тогда в каком конкретно столбце появляются разные значения?
источник

A(

Andrew (backEnd) in ClickHouse не тормозит
Dmitry Titov
Хорошо, тогда в каком конкретно столбце появляются разные значения?
набор найденных в итоге значений (строк)
источник