Size: a a a

ClickHouse не тормозит

2020 June 09

D

Denisio in ClickHouse не тормозит
выдал 12 гигов, проверю
источник

D

Denisio in ClickHouse не тормозит
так, пока всё идёт как надо
источник

D

Denisio in ClickHouse не тормозит
ключа max_server_memory_usage_to_ram_ratio ваще не нашёл в config.xml
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
сейчас видимо есть проблема что неправильно считается кол-во памяти которое отожрал КХ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denisio
ключа max_server_memory_usage_to_ram_ratio ваще не нашёл в config.xml
скорее всего вендорный конфиг у вас перезатерт своим
источник

D

Denisio in ClickHouse не тормозит
нет, там ваще дефолтный конфиг, котрый я поправил чтобы слушалось на всех IP адресах и всё.
источник

D

Denisio in ClickHouse не тормозит
а, и logger.level=error поставил
источник

D

Denisio in ClickHouse не тормозит
установка свежая вот вчера поставил новую виртуалку
источник

AK

Aleksandr Kosolapov in ClickHouse не тормозит
Привет!
https://clickhouse.tech/docs/ru/sql-reference/functions/geo/#greatcircleangle
нашел опечатку в документации, в функции в примере указана другая (указана greatCircleDistance, а должна быть greatCircleAngle), куда можно зарепортить?)
источник

IV

Ilia V in ClickHouse не тормозит
буду рад помощи по следующему вопросу по Materialized View

есть MergeTree таблица (назовем ее А) на кластере с определенным PrimaryKey и SortingKey
хочу под нее сделать MaterializedView с движком SummingMergeTree и немного другими PrimaryKey и SortingKey

Но при этом необходимо, чтобы она:
1. подгрузила данные, которые есть в изначальной таблице А
2. автоматически подгружала новые данные, которые приходят в А, т.к. данные туда постоянно приходят

Как понимаю, для решения проблемы 1 есть POPULATE, но он "пропускает вставляемые во время переноса старых данных новые данные"
https://www.altinity.com/blog/clickhouse-materialized-views-illuminated-part-1

Поэтому рекомендуется использовать TO, а старые данные руками перенести

Но тут возникает другая проблема — не понимаю, как указать одновременно TO и Engine MV, т.к. КХ ругается на такую конструкцию

Буду рад помощи в том, правильно я понимаю логику подхода... ну и как объяснить КХ, что он должен следить за новыми вставками в таблицу А и использовать кастомный движок

Спасибо
источник

IV

Ilia V in ClickHouse не тормозит
то есть DDL выглядит как
CREATE MATERIALIZED VIEW test_table_mv ON CLUSTER aaa

TO source_table_A

ENGINE = ReplicatedSummingMergeTree('/clickhouse/{cluster}/{shard}/database/test_table_mv', '{replica}', (amount1, amount2))
PARTITION BY day
PRIMARY KEY (pk1, pk2)
ORDER BY (pk1, pk2, sk1, sk2) AS
SELECT
   day
   pk1,
   pk2,
   sk1,
   sk2,
   amount1,
   amount2
FROM source_table_A_distributed
WHERE ...filters...


В этом случае падает ошибка в том, что не ожидается ENGINE

Expected one of: AS, UUID, OpeningRoundBracket, Dot, token


При этом в документации явно не указано, что такое невозможно 😞
https://clickhouse.tech/docs/en/sql-reference/statements/create/#create-view

Если убрать TO, то все работает, но при этом пополнения данными не идет (возможно имеет смысл как-то руками указать dependencies_table, но не понимаю что в синтаксисе выше неверно)

Спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilia V
буду рад помощи по следующему вопросу по Materialized View

есть MergeTree таблица (назовем ее А) на кластере с определенным PrimaryKey и SortingKey
хочу под нее сделать MaterializedView с движком SummingMergeTree и немного другими PrimaryKey и SortingKey

Но при этом необходимо, чтобы она:
1. подгрузила данные, которые есть в изначальной таблице А
2. автоматически подгружала новые данные, которые приходят в А, т.к. данные туда постоянно приходят

Как понимаю, для решения проблемы 1 есть POPULATE, но он "пропускает вставляемые во время переноса старых данных новые данные"
https://www.altinity.com/blog/clickhouse-materialized-views-illuminated-part-1

Поэтому рекомендуется использовать TO, а старые данные руками перенести

Но тут возникает другая проблема — не понимаю, как указать одновременно TO и Engine MV, т.к. КХ ругается на такую конструкцию

Буду рад помощи в том, правильно я понимаю логику подхода... ну и как объяснить КХ, что он должен следить за новыми вставками в таблицу А и использовать кастомный движок

Спасибо
>одновременно TO и Engine MV
так не нужен Engine
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
если у вас to , то у вас таблица уже готова которая будет хранить данные
если to не указан то таблица автоматически будет создана и ей нужен engine
источник

OM

Oleksii Mylotskyi in ClickHouse не тормозит
Ребята, подскажите может у кого-то было. Делаю запрос с LIMIT 1, типа select * from logs limit 1. Конфигурация из двух шардов. И он Висит вечно (уже 3ий день)..... в SHOW PROCESSLIST.

┌─is_initial_query─┬─user────┬─query_id─────────────────────────────┬─address─────────────┬──port─┬─initial_user─┬─initial_query_id─────────────────────┬─initial_address──┬─initial_port─┬─interface─┬─os_user─┬─client_hostn
ame─────────┬─client_name───────┬─client_revision─┬─client_version_major─┬─client_version_minor─┬─client_version_patch─┬─http_method─┬─http_user_agent─┬─quota_key─┬─────────elapsed─┬─is_cancelled─┬─read_rows─┬─read_bytes─┬
─total_rows_approx─┬─written_rows─┬─written_bytes─┬─memory_usage─┬─peak_memory_usage─┬─query──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─thread_ids──────────────────────────────────────────────────────────────────────────────────────────────
───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─ProfileEvents.Names──────────────────────────────────────────────────────
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─ProfileEvents.Values──────────────────────
───────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─Settings.Names───────────────────────────────────────────────────────────────────────────────────────────
────────────────────────────────────────────────────────────────────────────────────────────────┬─Settings.Values────────────────────────────────────────────────┐
│                0 │ default │ bfd5094b-33a0-457b-8ef1-09db979f93c7 │ ::ffff:IPADDRESS │ 50272 │ default      │ dc4e81e8-7d6b-437a-8604-9b5d025180d9 │ ::ffff:127.0.0.1 │        40180 │         1 │ ubuntu  │ prod-cl
ickhouse-2b │ ClickHouse client │           54434 │                   20 │                    4 │                    3 │           0 │                 │           │ 449403.62553614 │            1 │         2 │        168 │
             8192 │            0 │             0 │     75517838 │          96509142 │ SELECT ....
источник

IV

Ilia V in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>одновременно TO и Engine MV
так не нужен Engine
TO — это таблица, в которую должны попадать данные, верно?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilia V
TO — это таблица, в которую должны попадать данные, верно?
да
если у вас to , то у вас таблица уже готова которая будет хранить данные
если to не указан то таблица автоматически будет создана и ей нужен engine
источник

IV

Ilia V in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
да
если у вас to , то у вас таблица уже готова которая будет хранить данные
если to не указан то таблица автоматически будет создана и ей нужен engine
спасибо

а данные до момента создания просто руками перенести обычным запросом, верно?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksii Mylotskyi
Ребята, подскажите может у кого-то было. Делаю запрос с LIMIT 1, типа select * from logs limit 1. Конфигурация из двух шардов. И он Висит вечно (уже 3ий день)..... в SHOW PROCESSLIST.

┌─is_initial_query─┬─user────┬─query_id─────────────────────────────┬─address─────────────┬──port─┬─initial_user─┬─initial_query_id─────────────────────┬─initial_address──┬─initial_port─┬─interface─┬─os_user─┬─client_hostn
ame─────────┬─client_name───────┬─client_revision─┬─client_version_major─┬─client_version_minor─┬─client_version_patch─┬─http_method─┬─http_user_agent─┬─quota_key─┬─────────elapsed─┬─is_cancelled─┬─read_rows─┬─read_bytes─┬
─total_rows_approx─┬─written_rows─┬─written_bytes─┬─memory_usage─┬─peak_memory_usage─┬─query──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─thread_ids──────────────────────────────────────────────────────────────────────────────────────────────
───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─ProfileEvents.Names──────────────────────────────────────────────────────
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─ProfileEvents.Values──────────────────────
───────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─Settings.Names───────────────────────────────────────────────────────────────────────────────────────────
────────────────────────────────────────────────────────────────────────────────────────────────┬─Settings.Values────────────────────────────────────────────────┐
│                0 │ default │ bfd5094b-33a0-457b-8ef1-09db979f93c7 │ ::ffff:IPADDRESS │ 50272 │ default      │ dc4e81e8-7d6b-437a-8604-9b5d025180d9 │ ::ffff:127.0.0.1 │        40180 │         1 │ ubuntu  │ prod-cl
ickhouse-2b │ ClickHouse client │           54434 │                   20 │                    4 │                    3 │           0 │                 │           │ 449403.62553614 │            1 │         2 │        168 │
             8192 │            0 │             0 │     75517838 │          96509142 │ SELECT ....
версия КХ? обновляйтесь до последней в своей маджор
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilia V
спасибо

а данные до момента создания просто руками перенести обычным запросом, верно?
да
источник

OM

Oleksii Mylotskyi in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
версия КХ? обновляйтесь до последней в своей маджор
20.4.3.16 последняя вроде была.
источник