Телеграмм чат группы clickhouse

19:15пожаловаться #1

D

Dj in ClickHouse не тормозит

CHIP

Code: 47. DB::Exception: Received from 1.1.1.1:9020. DB::Exception: Missing columns: 'table' while processing query: 'SELECT hostName(), engine_full FROM clusterAllReplicas('events', 'system.tables') WHERE (database = 'stats708') AND (table = 'events6892')', required columns: 'engine_full' 'database' 'table', maybe you meant:  '['engine_full']' '['database']'.

SELECT 
    hostName(), 
    engine_full
FROM clusterAllReplicas('events', system.tables) 
WHERE (database = 'stats708') AND (

name

 = 'events6892')

Slach in ClickHouse не тормозит

19:17пожаловаться #2

S

1) значит <remote_servers> в конфигах /etc/clickhouse-server/ различается на разных нодах

2) извините запрос должен выглядеть вот так

SELECT 
    hostName(), 
    engine_full
FROM clusterAllReplicas('events', system.tables) 
WHERE (database = 'stats708') AND (name = 'events6892')

CHIP in ClickHouse не тормозит

19:17пожаловаться #3

C

Slach

1) значит <remote_servers> в конфигах /etc/clickhouse-server/ различается на разных нодах

2) извините запрос должен выглядеть вот так

SELECT 
    hostName(), 
    engine_full
FROM clusterAllReplicas('events', system.tables) 
WHERE (database = 'stats708') AND (name = 'events6892')

Andrey in ClickHouse не тормозит

19:39пожаловаться #4

A

привет. при связке clickhouse и rebbitmq как передать vhost при создании таблици на движке RabbitMQ

Andrey in ClickHouse не тормозит

19:58пожаловаться #5

A

либо в настройках как указать?

Andrey in ClickHouse не тормозит

19:58пожаловаться #6

A

Ramil Fakhrut

DB::Exception: Unable to declare exchange. Make sure specified exchange is not already declared. Error: PRECONDITION_FAILED - inequivalent arg 'durable' for exchange 'LogExchange' in vhost '/': received 'true' but current is 'false'.

делаю связку с rabbitmq, как vhost указать?

Slach in ClickHouse не тормозит

20:01пожаловаться #7

S

CHIP

так. странно
пипец как
а есть среди выданых hostName
тот на котором не работает запрос?

Slach in ClickHouse не тормозит

20:03пожаловаться #8

S

SHOW CREATE TABLE stats708.events6892
все еще показывает Distributed на сервере который валит запрос?

nikoinlove 🐈 in ClickHouse не тормозит

20:04пожаловаться #9

n🐈

Denny Crane [not a Yandex bot]

https://www.hetzner.com/dedicated-rootserver/sx293
256 GB DDR4 ECC
14 x 16 TB Enterprise HDD 7200 rpm, 2 x 1.92 TB Datacenter NVMe SSD
(software RAID ; Level optional)

а вы используете ссд кеш какой-то?

CHIP in ClickHouse не тормозит

20:04пожаловаться #10

C

Slach

SHOW CREATE TABLE stats708.events6892
все еще показывает Distributed на сервере который валит запрос?

В дороге, через часик ток гляну

Roman Kuzmin in ClickHouse не тормозит

20:14пожаловаться #11

RK

Приветствую!

Запрос:

SELECT * FROM data WHERE ServiceID = '<UUIDv4>' AND Application = ‘<application>’ AND Timestamp >= <1 января 2021> AND Timestamp <= <30 января 2021> ORDER BY Timestamp DESC LIMIT 250;

Запрос выполняется на 1 ноде, потребляет 20+ ГБ RAM.

В таблице data 161 поле. Timestamp - это Primary Key, по нему же сортировка. Всего данных за период внутри Where - примерно 2 ТБ.

optimize_read_in_order = 1


Вопрос - откуда такое потребление памяти? Clickhouse не использует heap sort и/или late materialization?

ClickHouse server version 20.12.3.3 (official build).

20:15пожаловаться #12

DC

nikoinlove 🐈

а вы используете ссд кеш какой-то?

нет, у меня предыдущией модели, еще без nvme, эти только появились я еще не успел.
но я скорее бы использовал встроенные в КХ TTL move

nikoinlove 🐈 in ClickHouse не тормозит

20:20пожаловаться #13

n🐈

спс

20:20пожаловаться #14

D

Dj in ClickHouse не тормозит

Приветствую!

Запрос:

SELECT * FROM data WHERE ServiceID = '<UUIDv4>' AND Application = ‘<application>’ AND Timestamp >= <1 января 2021> AND Timestamp <= <30 января 2021> ORDER BY Timestamp DESC LIMIT 250;

Запрос выполняется на 1 ноде, потребляет 20+ ГБ RAM.

В таблице data 161 поле. Timestamp - это Primary Key, по нему же сортировка. Всего данных за период внутри Where - примерно 2 ТБ.

optimize_read_in_order = 1


Вопрос - откуда такое потребление памяти? Clickhouse не использует heap sort и/или late materialization?

ClickHouse server version 20.12.3.3 (official build).

order by DESC же

20:20пожаловаться #15

DC

Приветствую!

Запрос:

SELECT * FROM data WHERE ServiceID = '<UUIDv4>' AND Application = ‘<application>’ AND Timestamp >= <1 января 2021> AND Timestamp <= <30 января 2021> ORDER BY Timestamp DESC LIMIT 250;

Запрос выполняется на 1 ноде, потребляет 20+ ГБ RAM.

В таблице data 161 поле. Timestamp - это Primary Key, по нему же сортировка. Всего данных за период внутри Where - примерно 2 ТБ.

optimize_read_in_order = 1


Вопрос - откуда такое потребление памяти? Clickhouse не использует heap sort и/или late materialization?

ClickHouse server version 20.12.3.3 (official build).

таблица order by ? что ?

Roman Kuzmin in ClickHouse не тормозит

20:20пожаловаться #16

RK

ORDER BY Timestamp указан в create table

20:22пожаловаться #17

DC

ORDER BY Timestamp указан в create table

значит из-за SELECT *
что если одно поле выбирать?

>Clickhouse не использует heap sort и/или late materialization?
ахаха, дело вообще не в этом и это параметрами before_external_sort управляется

Roman Kuzmin in ClickHouse не тормозит

20:25пожаловаться #18

RK

Если выбирать одно поле, то да, потребление памяти падает на порядок. Отсюда вопрос о late materialization

20:26пожаловаться #19

DC

Если выбирать одно поле, то да, потребление памяти падает на порядок. Отсюда вопрос о late materialization

>о late materialization
дело не в этом, просто select * ... limit 250 без order by работает?