Телеграмм чат группы clickhouse_ru страница 8297

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу

2020 September 17

V

Vladimir in ClickHouse не тормозит

А это решается таким образом открывается веб морда прометеуса либо сам пром эндпоинд кх и делается поиск либо по query либо по total
там вся разница вроде в том, что кх в нативном использует PascalCase вроде

да, я именно так и попробовал

 curl localhost:9363/metrics | grep --color=always  query
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 57594    0 57594    0     0  27.4M      0 --:--:-- --:--:-- --:--:-- 27.4M
# HELP ClickHouseProfileEvents_ThrottlerSleepMicroseconds Total time a query was sleeping to conform the \'max_network_bandwidth\' setting.
# HELP ClickHouseProfileEvents_QueryMaskingRulesMatch Number of times query masking rules was successfully matched.
# HELP ClickHouseProfileEvents_ReadBackoff Number of times the number of query processing threads was lowered due to slow reads.
# HELP ClickHouseProfileEvents_CannotWriteToWriteBufferDiscard Number of stack traces dropped by query profiler or signal handler because pipe is full or cannot write to pipe.
# HELP ClickHouseMetrics_TCPConnection Number of connections to TCP server (clients with native interface), also included server-server distributed query connections
# HELP ClickHouseMetrics_QueryThread Number of query processing threads

Как-то не вижу подходящего
_total добавляет гошный экспортер

источник

18:37пожаловаться #1

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Там 16 gb. Т.е надо в настройках где то ограничить если я правильно помню конфиг файл? Или есть другое решение?

сначала sudo dmesg |tail -100
и искать сообщение oom

источник

18:38пожаловаться #2

DK

Dmitry Kozeev in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

сначала sudo dmesg |tail -100
и искать сообщение oom

нашел но не могу понять что мне это дает

источник

18:43пожаловаться #3

V

Vladimir in ClickHouse не тормозит

да, я именно так и попробовал

 curl localhost:9363/metrics | grep --color=always  query
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 57594    0 57594    0     0  27.4M      0 --:--:-- --:--:-- --:--:-- 27.4M
# HELP ClickHouseProfileEvents_ThrottlerSleepMicroseconds Total time a query was sleeping to conform the \'max_network_bandwidth\' setting.
# HELP ClickHouseProfileEvents_QueryMaskingRulesMatch Number of times query masking rules was successfully matched.
# HELP ClickHouseProfileEvents_ReadBackoff Number of times the number of query processing threads was lowered due to slow reads.
# HELP ClickHouseProfileEvents_CannotWriteToWriteBufferDiscard Number of stack traces dropped by query profiler or signal handler because pipe is full or cannot write to pipe.
# HELP ClickHouseMetrics_TCPConnection Number of connections to TCP server (clients with native interface), also included server-server distributed query connections
# HELP ClickHouseMetrics_QueryThread Number of query processing threads

Как-то не вижу подходящего
_total добавляет гошный экспортер

Нашел, там дескрипшен совпадает)

источник

18:45пожаловаться #4

DC

Denny Crane [not a Y... in ClickHouse не тормозит

нашел но не могу понять что мне это дает

это дает понимание что КХ не падает потому что файлы корапченные.

set max_threads=1, max_block_size=10000,max_insert_block_size=10000

источник

18:46пожаловаться #5

DT

Dmitry Titov in ClickHouse не тормозит

да, я именно так и попробовал

 curl localhost:9363/metrics | grep --color=always  query
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 57594    0 57594    0     0  27.4M      0 --:--:-- --:--:-- --:--:-- 27.4M
# HELP ClickHouseProfileEvents_ThrottlerSleepMicroseconds Total time a query was sleeping to conform the \'max_network_bandwidth\' setting.
# HELP ClickHouseProfileEvents_QueryMaskingRulesMatch Number of times query masking rules was successfully matched.
# HELP ClickHouseProfileEvents_ReadBackoff Number of times the number of query processing threads was lowered due to slow reads.
# HELP ClickHouseProfileEvents_CannotWriteToWriteBufferDiscard Number of stack traces dropped by query profiler or signal handler because pipe is full or cannot write to pipe.
# HELP ClickHouseMetrics_TCPConnection Number of connections to TCP server (clients with native interface), also included server-server distributed query connections
# HELP ClickHouseMetrics_QueryThread Number of query processing threads

Как-то не вижу подходящего
_total добавляет гошный экспортер

# HELP ClickHouseProfileEvents_Query Number of queries to be interpreted and potentially executed. Does not include queries that failed to parse or were rejected due to AST size limits, quota limits or limits on the number of simultaneously running queries. May include internal queries initiated by ClickHouse itself. Does not count subqueries.
# TYPE ClickHouseProfileEvents_Query counter
ClickHouseProfileEvents_Query 3

если grep то надо посмотреть как там делать case-insensitive match :)

источник

18:47пожаловаться #6

DK

Dmitry Kozeev in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

это дает понимание что КХ не падает потому что файлы корапченные.

set max_threads=1, max_block_size=10000,max_insert_block_size=10000

Спасибо

источник

18:47пожаловаться #7

AE

Alexey Er in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

optimize table просто инициация внеочередного мержа, оптимизирует какую-то одну партицию

Видимо, всегда не ту, которую надо :)
Потому что так дубли не убирает.

источник

18:50пожаловаться #8

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Видимо, всегда не ту, которую надо :)
Потому что так дубли не убирает.

В доке все написано про дубли и никогда.

Естественно мержится партиция куда идут инсерты прямо сейчас, потому что в ней больше всего партов

источник

18:51пожаловаться #9

AE

Alexey Er in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

В доке все написано про дубли и никогда.

Естественно мержится партиция куда идут инсерты прямо сейчас, потому что в ней больше всего партов

Да в доке вообще много интересного написано. Только никогда не знаешь, где именно. Почему-то не в отдельной статье про OPTIMIZE.

Спасибо.

clickhouse.tech

OPTIMIZE | ClickHouse Documentation

OPTIMIZE Statement OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FI

источник

18:59пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Да в доке вообще много интересного написано. Только никогда не знаешь, где именно. Почему-то не в отдельной статье про OPTIMIZE.

Спасибо.

clickhouse.tech

OPTIMIZE | ClickHouse Documentation

OPTIMIZE Statement OPTIMIZE TABLE [db.]name [ON CLUSTER cluster] [PARTITION partition | PARTITION ID 'partition_id'] [FI

потому что это имеет отношение к мержам engine ReplacingMT, а не к optimize

источник

19:01пожаловаться #11

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Дедупликация данных производится лишь во время слияний. Слияние происходят в фоне в неизвестный момент времени, на который вы не можете ориентироваться. Некоторая часть данных может остаться необработанной.
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replacingmergetree/

источник

19:02пожаловаться #12

<Zaur/> Abdulg... in ClickHouse не тормозит

как в докере добавить нового юзера?

источник

19:50пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

https://clickhouse.tech/docs/ru/operations/access-rights/

Включите SQL-ориентированное управление доступом как минимум для одного аккаунта.

По умолчанию управление доступом на основе SQL выключено для всех пользователей. Вам необходимо настроить хотя бы одного пользователя в файле конфигурации users.xml и присвоить значение 1 параметру access_management.

источник

20:05пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

т.е. на маке у вас есть какой-то каталог где будут лежать конфиги КХ mkdir -p ~/Documents/docker/click/etc/conf.d

источник

20:06пожаловаться #15

DC

Denny Crane [not a Y... in ClickHouse не тормозит

там файлик

cat ~/Documents/docker/click/etc/conf.d/zxylalalhuayk.xml
<?xml version="1.0" ?>
<yandex>
    <users>
        <default>
     <access_management>1</access_management>
        </default>
    </users>
</yandex>

источник

20:09пожаловаться #16

DC

Denny Crane [not a Y... in ClickHouse не тормозит

и пробросить этот каталог в контейнер
docker run -d --name test -v ~/Documents/docker/click/etc/conf.d/:/etc/clickhouse-server/conf.d --ulimit nofile=262144:262144 -p 8123:8123 yandex/clickhouse-server

источник

20:10пожаловаться #17

A

Artem in ClickHouse не тормозит

Привет, напомните, пожалуйста, функционал intersect для массивов имеется или нет?

источник

21:57пожаловаться #18

pk

papa karlo in ClickHouse не тормозит

а тут https://clickhouse.tech/docs/en/sql-reference/functions/array-functions/ нет?

clickhouse.tech

Arrays | ClickHouse Documentation

Array Functions empty Returns 1 for an empty array, or 0 for a non-empty array. The result type is UInt8. The function a

источник

21:58пожаловаться #19

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Привет, напомните, пожалуйста, функционал intersect для массивов имеется или нет?

нету, только вручную arrayMap , в чатике было раз 10

источник

22:01пожаловаться #20