Size: a a a

ClickHouse не тормозит

2021 February 25

FN

Fred Navruzov in ClickHouse не тормозит
сбилдили 21.3.1.6060, аналитические функции заработали, ура, @den_crane - большое спасибо!
скажите, а как должна выглядеть функция, например, для "посчитать суммарные осадки в мм за последние 24 часа от текущего момента до текущей строки?"

стандартный вариант с
sum(precip_mm) over (partition by geohash order by datetime_local asc RANGE BETWEEN interval '24' hour PRECEDING AND CURRENT ROW) as precip_amt_last_24h
и подобные ему не работают

https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/sql-reference/window-functions/index.md
тут говорится, что range - supported, а
INTERVAL syntax for DateTime RANGE OFFSET frame  <->  not supported, specify the number of seconds instead
но я не понимаю, оно ли это, и/или как это адаптировать, чтоб запрос сработал
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Fred Navruzov
сбилдили 21.3.1.6060, аналитические функции заработали, ура, @den_crane - большое спасибо!
скажите, а как должна выглядеть функция, например, для "посчитать суммарные осадки в мм за последние 24 часа от текущего момента до текущей строки?"

стандартный вариант с
sum(precip_mm) over (partition by geohash order by datetime_local asc RANGE BETWEEN interval '24' hour PRECEDING AND CURRENT ROW) as precip_amt_last_24h
и подобные ему не работают

https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/sql-reference/window-functions/index.md
тут говорится, что range - supported, а
INTERVAL syntax for DateTime RANGE OFFSET frame  <->  not supported, specify the number of seconds instead
но я не понимаю, оно ли это, и/или как это адаптировать, чтоб запрос сработал
а если

BETWEEN 24*3600 PRECEDING
источник

PV

Pavel Vorontsov in ClickHouse не тормозит
Добрый день, коллеги!
Есть 2 проблемы с engine kafka & materialized view
По порядку.
В топик kafka пишется массив json объектов, eg
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}]
Делаем
CREATE TABLE queue
(
   TS Int64
  , VF Nullable(Float64)
  , VS Nullable(String)
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow';

В результате получаем ошибку вида "db::exception: cannot parse input: expected ']' before:" при попытке вычитки из очереди.

Делаем
CREATE TABLE queue
(
   value String
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'LineAsString';

При вычитке из очереди видим в value (из примера сверху)
[{"TS":288676,"VF":23.34,"VS":null},{"TS":288236,"VF":23.31,"VS":null}
То есть последний символ обрезается. Это как то неприятно. Видимо engine ожидает в конце значения "\n" и превентивно его обрезает?
источник

PV

Pavel Vorontsov in ClickHouse не тормозит
Вопрос номер два.
Создаем очередь
CREATE TABLE queue
(
   value String
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '192.168.XX.XX:9092',
kafka_topic_list = 'topicQueueTest',
kafka_group_name = 'group1',
kafka_format = 'LineAsString';

Создаем matview
CREATE MATERIALIZED VIEW IF NOT EXISTS
HistoryValuesMV TO historyvalues
AS SELECT toInt64(b.idtag) as IdTag
       , b.valueFloat as valueFloat
       , b.valueString as valueString
       , b.timestamp as timestamp
       , now() as timestampWT
from (select a.idtag
   , (data.1) as valueFloat
   , (data.2) as valueString
   , fromUnixTimestamp64Milli((data.3),'UTC') as timestamp
from
(select _key as idtag
   , JSONExtract(value||']','Array(Tuple(VF Nullable(Float64),VS Nullable(String),TS Int64))') as data
from queue) a
array join a.data as data) b;

Данные не идут, нигде никаких ошибок не вижу. Если делать вставку
insert into historyvalues select ... (запрос идентичный MV)
то данные вставляются.

Где искать проблему? Куда, в какие логи смотреть?
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Добрый день, коллеги
Не подскажете какие конфигурационные параметры надо установить, чтобы в log ClickHouse попадали SQL-запросы?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexey Kostarev
Добрый день, коллеги
Не подскажете какие конфигурационные параметры надо установить, чтобы в log ClickHouse попадали SQL-запросы?
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Спасибо
Но мне бы еще логи авторизации глянуть
источник

T

T in ClickHouse не тормозит
подскажите пожалуйста, как посмотреть текущие выставленные параметры для клиента сидя в клиенте, типа show variables
источник

АБ

Алексей Барнев... in ClickHouse не тормозит
Всем доброго времени суток! В версии КХ 21.2.3.15 имя inner таблички materialized view создаётся как .inner_id.xxxxxxx-xxxx-xxxxxx... можно ли сделать так чтобы имена inner табличек были как в более старых версиях КХ - .inner.table_name ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Алексей Барнев
Всем доброго времени суток! В версии КХ 21.2.3.15 имя inner таблички materialized view создаётся как .inner_id.xxxxxxx-xxxx-xxxxxx... можно ли сделать так чтобы имена inner табличек были как в более старых версиях КХ - .inner.table_name ?
использовать Ordinary database engine
источник

DT

Dmitry Titov in ClickHouse не тормозит
CREATE DATABASE db ENGINE=Ordinary
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
подскажите пожалуйста, как посмотреть текущие выставленные параметры для клиента сидя в клиенте, типа show variables
SELECT * FROM system.settings WHERE changed;
источник

АБ

Алексей Барнев... in ClickHouse не тормозит
Dmitry Titov
CREATE DATABASE db ENGINE=Ordinary
а если мне нужен ReplicatedSummingMergeTree ?
источник

T

T in ClickHouse не тормозит
благодарю
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
благодарю
SHOW CHANGED SETTINGS LIKE '%';
источник

DT

Dmitry Titov in ClickHouse не тормозит
Алексей Барнев
а если мне нужен ReplicatedSummingMergeTree ?
Это разные вещи, Database engine и table engine
источник

АБ

Алексей Барнев... in ClickHouse не тормозит
Dmitry Titov
Это разные вещи, Database engine и table engine
спасибо, попробую
источник

DT

Dmitry Titov in ClickHouse не тормозит
Алексей Барнев
спасибо, попробую
там можно еще дефолтом прописать.
    M(DefaultDatabaseEngine, default_database_engine, DefaultDatabaseEngine::Atomic, "Default database engine.", 0) \
источник

DT

Dmitry Titov in ClickHouse не тормозит
default_database_engine
источник

DT

Dmitry Titov in ClickHouse не тормозит
в профайле default
источник