S
добрый день! А есть ли готовый мониторинг с аналитикой запросов в кликхаус, который метрики из query_log/query_thread_log сам заберет и разложит по полочкам, как сделано для постгреса в pgwatch2/powa4 или для MySQL в PMM?
пока такого нет
Size: a a a
2021 February 03
S
добрый день! А есть ли готовый мониторинг с аналитикой запросов в кликхаус, который метрики из query_log/query_thread_log сам заберет и разложит по полочкам, как сделано для постгреса в pgwatch2/powa4 или для MySQL в PMM?
если хотите, можете помочь улучшить
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
IK
если хотите, можете помочь улучшить
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
спасибо)
IK
если хотите, можете помочь улучшить
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
https://github.com/Altinity/clickhouse-operator/blob/master/grafana-dashboard/ClickHouse_Queries_dashboard.json
судя по названию, он только для кликхауса в кубернетисе?
IK
какая из функций поиска подстроки самая легкая для CPU, если это корректный вопрос.
Второй вопрос имеет ли значение длина строки ?
Второй вопрос имеет ли значение длина строки ?
IK
И третий вопрос, если сделать колонку с Materialized, сложить туда Категории (строки) и уже по ним делать выборку, они будут просто короче и меньше различных вариантов, это ускорит запрос ?
IK
сейчас есть поиск подстроки в url для понимания что за категория страницы. И я думаю как это можно оптимиизровать
K
я сделал материалку с регекспом которая нарезает урл - потом уже группировки и поиск получается не полнотекстовый. вышло весьма быстро
S
судя по названию, он только для кликхауса в кубернетисе?
ну там можно взять JSON
и заменить
cluster('all-sharded',system.query_log)
на просто
system.query_log
или на
cluster('your_cluster_name_from_remote_servers_config_xml_section',system.query_log)
и можно без kubernetes использовать
только clickhouse-grafana плагин в grafana поставьте
и заменить
cluster('all-sharded',system.query_log)
на просто
system.query_log
или на
cluster('your_cluster_name_from_remote_servers_config_xml_section',system.query_log)
и можно без kubernetes использовать
только clickhouse-grafana плагин в grafana поставьте
IK
ну там можно взять JSON
и заменить
cluster('all-sharded',system.query_log)
на просто
system.query_log
или на
cluster('your_cluster_name_from_remote_servers_config_xml_section',system.query_log)
и можно без kubernetes использовать
только clickhouse-grafana плагин в grafana поставьте
и заменить
cluster('all-sharded',system.query_log)
на просто
system.query_log
или на
cluster('your_cluster_name_from_remote_servers_config_xml_section',system.query_log)
и можно без kubernetes использовать
только clickhouse-grafana плагин в grafana поставьте
спасибо, попробую
IK
я сделал материалку с регекспом которая нарезает урл - потом уже группировки и поиск получается не полнотекстовый. вышло весьма быстро
не совсем понял про нарезает, складываете в массив что ли?
K
не совсем понял про нарезает, складываете в массив что ли?
нет, беру первую часть урла и складываю в отдельное поле
ну типа
https://github.com/minio/minio/tree/master/docs/erasure/storage-class
раскладываю в колонки
minio minio tree master docs …
ну типа
https://github.com/minio/minio/tree/master/docs/erasure/storage-class
раскладываю в колонки
minio minio tree master docs …
K
в самом деле зависит от проекта, мне 2 полей хватает
S
какая из функций поиска подстроки самая легкая для CPU, если это корректный вопрос.
Второй вопрос имеет ли значение длина строки ?
Второй вопрос имеет ли значение длина строки ?
ну на самом деле там под капотом ОЧЕНЬ много оптимизаций
если данные по system.parts распределены равномерно
тогда самый простой вариант это создать еще одну колонку у которой DEFAULT extract(URL, pattern) или extractURLParameter(URL, param_name)
если данные по system.parts распределены равномерно
тогда самый простой вариант это создать еще одну колонку у которой DEFAULT extract(URL, pattern) или extractURLParameter(URL, param_name)
K
не совсем понял про нарезает, складываете в массив что ли?
и еще урлы нормализую - переменные оттуда убираю. тоже индивидуально для проектов
S
не совсем понял про нарезает, складываете в массив что ли?
просто extract(URL, pattern)
IK
Спасибо, пойду тестировать
DV
добавляю данные через http используя драйвер https://github.com/mailru/go-clickhouse:
подскажите что делать?
Code: 164, Message: default: Cannot execute query in readonly mode. For queries over HTTP
подскажите что делать?
G
ClickHouse/ClickHouse tagged: v21.1.3.32-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.1.3.32-stable
Release notes:
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.1.3.32-stable
Release notes:
ClickHouse stable release v21.1.3.32-stable
DV
добавляю данные через http используя драйвер https://github.com/mailru/go-clickhouse:
подскажите что делать?
Code: 164, Message: default: Cannot execute query in readonly mode. For queries over HTTP
подскажите что делать?
query - ro, exec -rw в этом драйвере