Size: a a a

ClickHouse не тормозит

2020 July 30

VB

Vladimir Bunchuk in ClickHouse не тормозит
Всем привет!
Ребят, у меня тут аналитики начали жаловаться что их вылогинивает из Tableau при работе с КХ.
Я так понимаю что нужно поменять како-то параметр таймаута на сервере. Кто-то может подсказать какой именно параметр?
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Михаил Цветков
В logs api  среди параметров по просмотрам есть такой параметр, как «параметр просмотра, ур 1-10»

ym:pv:parsedParamsKey1
Параметры просмотра, ур. 1
ym:pv:parsedParamsKey2
Параметры просмотра, ур. 2
ym:pv:parsedParamsKey3
Параметры просмотра, ур. 3

Кто-нибудь знает что показывает этот параметр? Подскажите пожалуйста
Ответ от поддержки

На самом деле параметры будут парситься от самого “нижнего” уровня до самого “верхнего”. По этой причине, значения на уровнях Выше могут дублироваться по отношению к более “нижним” уровням.

Можно взять следующий пример: { “Key1_1”: { “Key2_1”: [ “Key3_11”, “Key3_12” ], “Key2_2”: [ “Key3_21”, “Key3_22” ] },​​​​ “Key1_2”: “Key2_3"​​​}

В указанном примере можно ожидать следующие массивы в ответе Logs API:

“ym:pv:parsedParamsKey1” - [“Key1_1”,“Key1_1”,“Key1_1”,“Key1_1”,“Key1_2”]
“ym:pv:parsedParamsKey2” - [“Key2_1”,“Key2_1”,“Key2_2”,“Key2_2”,“Key2_3”]
“ym:pv:parsedParamsKey3” - [“Key3_11”,“Key3_12”,“Key3_21”,“Key3_22”,""]
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
Михаил Цветков
В logs api  среди параметров по просмотрам есть такой параметр, как «параметр просмотра, ур 1-10»

ym:pv:parsedParamsKey1
Параметры просмотра, ур. 1
ym:pv:parsedParamsKey2
Параметры просмотра, ур. 2
ym:pv:parsedParamsKey3
Параметры просмотра, ур. 3

Кто-нибудь знает что показывает этот параметр? Подскажите пожалуйста
если проще это то что отправляется в reachGoal в парамсах, потом разбивается на 10 массивов
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
Привет! Используя clickhouse, я столкнулся с необъяснимым. В принципе на скриншотах уже должно быть понятно, но на всякий случай длинный комментарий:


Есть две таблицы: в dt0 поле tag заполнено, в dt1 tag пустое. Делаю GLOBAL ANY FULL JOIN по publisherMongoId.
При наличии COALESCE(dt1.tag, dt0.tag) в запросе в обеих таблицах tag обнуляются. Без COALESCE либо с COALESCE(dt0.tag, dt1.tag) все в порядке.
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
источник

D

Denis Goihburg in ClickHouse не тормозит
Я подозреваю что там не null а пустая строка, и coalease возвращает ее.
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
меня больше смущает, что поле tag0 тоже обнуляется
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
источник

D

Denis Goihburg in ClickHouse не тормозит
А вот на таком игрушечном примере оно воспроизведется?
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
Denis Goihburg
А вот на таком игрушечном примере оно воспроизведется?
Да, результат тот же
источник

D

Denis Goihburg in ClickHouse не тормозит
Iaroslav Romanov
Да, результат тот же
Выглядит как баг. У меня не воспроизводится...
Версия 20.3.11.97
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Коллеги дайте совет.

Ситуация: есть stanalone инсталяция КХ, не могу понять почему валятся ошибки о том что запрос не смог с аллоцировать память.

exceeded: would use 45.91 GiB (attempt to allocate chunk of 4552973 bytes), maximum: 45.90 GiB

память уже неоднократно добавлял и каждый раз одна и та же ошибка. (только лимиты разные)

проблема и на select'ax и на insert'ax (порядка 100-1000 строк). Прогонял запросы руками больше 1Гига памяти не жрут. Кол-во коннектов очень маленькое. Сервер откровенно отдыхает, я вижу что более 4-6 гигов оперативки не используется.
источник

IR

Iaroslav Romanov in ClickHouse не тормозит
Denis Goihburg
Выглядит как баг. У меня не воспроизводится...
Версия 20.3.11.97
Можешь подсказать, куда отправить баг-репорт? Мне в трекере в очереди YQL сказали в этом чате разбираться.
источник

D

Denis Goihburg in ClickHouse не тормозит
Iaroslav Romanov
Можешь подсказать, куда отправить баг-репорт? Мне в трекере в очереди YQL сказали в этом чате разбираться.
Я бы в гитхабе issue завел. А у тебя версия новее?
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Maxim Pronkin
Коллеги дайте совет.

Ситуация: есть stanalone инсталяция КХ, не могу понять почему валятся ошибки о том что запрос не смог с аллоцировать память.

exceeded: would use 45.91 GiB (attempt to allocate chunk of 4552973 bytes), maximum: 45.90 GiB

память уже неоднократно добавлял и каждый раз одна и та же ошибка. (только лимиты разные)

проблема и на select'ax и на insert'ax (порядка 100-1000 строк). Прогонял запросы руками больше 1Гига памяти не жрут. Кол-во коннектов очень маленькое. Сервер откровенно отдыхает, я вижу что более 4-6 гигов оперативки не используется.
ClickHouse 20.5.2.7
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Maxim Pronkin
Коллеги дайте совет.

Ситуация: есть stanalone инсталяция КХ, не могу понять почему валятся ошибки о том что запрос не смог с аллоцировать память.

exceeded: would use 45.91 GiB (attempt to allocate chunk of 4552973 bytes), maximum: 45.90 GiB

память уже неоднократно добавлял и каждый раз одна и та же ошибка. (только лимиты разные)

проблема и на select'ax и на insert'ax (порядка 100-1000 строк). Прогонял запросы руками больше 1Гига памяти не жрут. Кол-во коннектов очень маленькое. Сервер откровенно отдыхает, я вижу что более 4-6 гигов оперативки не используется.
Вот это в config.xml добавить:
<max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
И рестартануть
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Yuri Velgosha
Вот это в config.xml добавить:
<max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
И рестартануть
попробую, спс
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Yuri Velgosha
Вот это в config.xml добавить:
<max_server_memory_usage_to_ram_ratio>100</max_server_memory_usage_to_ram_ratio>
И рестартануть
не варик, контейнер падает при такой конфигурации.
источник

MP

Maxim Pronkin in ClickHouse не тормозит
Maxim Pronkin
не варик, контейнер падает при такой конфигурации.
падает прям на моменте старта
источник