Size: a a a

ClickHouse не тормозит

2021 January 22

DK

Dmitriy Korol in ClickHouse не тормозит
Dmytro Nemesh
ребята вопрос

SELECT id, ctr FROM …..

возращается результат
id |  ctr |
1  |  1.2
2  | 1.4
3  | 1.1

Есть ли техническая возможность вывести разнизу CTR с первой записью где id=1 ? БЕЗ with ? Не хочется деллать еще раз запрос и плодить полотно
try (ctr - id) as X
источник

DN

Dmytro Nemesh in ClickHouse не тормозит
Dmitriy что то не понял. Можешь по подробней?


в идеале должно выйте на выходе вот

id |  ctr | defaultCtr | percent
1  |  1.2 | 1.2              | 0
2  | 1.4  | 1.2             | 16%
3  | 1.1  |  1.2             | -9%
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Dmytro Nemesh
Dmitriy что то не понял. Можешь по подробней?


в идеале должно выйте на выходе вот

id |  ctr | defaultCtr | percent
1  |  1.2 | 1.2              | 0
2  | 1.4  | 1.2             | 16%
3  | 1.1  |  1.2             | -9%
мож не самый оптимальный, но на небольшой сет прокатит что-то типа
select first_id, first_ctr, arrayJoin( agg ) as nest, nest.1 as id, nest.2 as ctr
from (
   select min(id) as first_id, argMax(ctr, id) as first_ctr, groupArray(tuple(id,ctr)) as agg
   from (
       select `number` as id, 1 + mod(rand(), 100) / 100 as ctr from numbers(10) order by id
   )
)
источник

AM

Alex Moshinets in ClickHouse не тормозит
Здравствуйте, подскажите пожалуйста. Есть два сервака с CH и третий с зукипером, ну и там тестовая таблица репликейтед. Если серваки все запущены, всё работает и реплицируется. Если сервак с зукипером стопнут и я пытаюсь просто запустить серваки с CH, то выдаёт DB::NetException: Connection refused. В логах ошибка что он не смог соединиться с зукипером. Я понимаю что CH не смог соединиться с зк, потому что тот выключен, но разве из-за этого сам CH должен не запускаться? или я что-то делаю не так
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Ибрагимов
Господа, доброго времени суток.
Недавно обновил Clickhouse до LTS версии - 20.8.9.6, в которой, по идее, должны были решить проблему с разваливающимеся индексами. До этого стояла версия 19.13.6.

Тем не менее, сегодня (спустя примерно 2 дня после установки индексов на таблицы) получил ошибку:

DB::Exception: Bad size of marks file '/var/lib/clickhouse/data/db/locatable_entity_states/202007_0_95577_29252_132669/skp_idx_loc_campus_id_idx.mrk2': 144, must be: 168


Подскажите, пожалуйста, как локально пересобрать индекс, а так же не допустить проблем в будущем?
берите не 20.8.12

а сколько index_granularity у skip index ?
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
берите не 20.8.12

а сколько index_granularity у skip index ?
minmax GRANULARITY 3
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Ибрагимов
minmax GRANULARITY 3
переделайте на 2
есть баг в этом месте
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и апгрейд до 20.8.12
источник

ИИ

Илья Ибрагимов... in ClickHouse не тормозит
ок, спасибо, попробую
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Коллеги, у меня немножко мозк клинит, прошу заранее простить.
Клик, кластер. Запросов нет, дисковой активности нет.
CPU usage 600%, LA 8
Где посмотреть, чем клик занят? system.processes - пусто.
источник

D

Denis in ClickHouse не тормозит
Alexander Rumyantsev
Коллеги, у меня немножко мозк клинит, прошу заранее простить.
Клик, кластер. Запросов нет, дисковой активности нет.
CPU usage 600%, LA 8
Где посмотреть, чем клик занят? system.processes - пусто.
Мерджи, мутации?
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Denis
Мерджи, мутации?
Дисковая активность была бы. Мутации не используем.
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Ну и при мерджах, кажется, CPU должен отдыхать
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Подозрение на кафку, но доказать не могу (с)
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Alexander Rumyantsev
Коллеги, у меня немножко мозк клинит, прошу заранее простить.
Клик, кластер. Запросов нет, дисковой активности нет.
CPU usage 600%, LA 8
Где посмотреть, чем клик занят? system.processes - пусто.
А версия кх?
У меня при обнове тоже откусило кусок
Я пока грешу на бэкграунд и овер-партицирлванную дата-схему
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Piotr Liakhavets
А версия кх?
У меня при обнове тоже откусило кусок
Я пока грешу на бэкграунд и овер-партицирлванную дата-схему
Старенькая, 19.16.4.12
источник

AR

Alexander Rumyantsev in ClickHouse не тормозит
Можно ли остановить консьюмеры в CH? В доке не нашел или проглазел.
источник

AM

Ada Min in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
SELECT article, user, time
 from db
 WHERE status='read'
 order by article, user, time desc
 limit 10 by article, user
Попробовал, выдает экспешны даже на тех запросах, которые оригинальный вариант нормально отрабатывал.

Так что вопрос прежний, можно ли улучшить запрос с точки зрения потребления памяти:
SELECT user, countDistinct(article) as count from (SELECT article, arrayJoin(arraySlice(arraySort((x,y)->y, groupArray(user),groupArray(toUnixTimestamp(time))),1,10)) as user from db WHERE status='read' group by article) group by user order by count desc limit 25
источник

AP

Alexander Petrov in ClickHouse не тормозит
Ada Min
Попробовал, выдает экспешны даже на тех запросах, которые оригинальный вариант нормально отрабатывал.

Так что вопрос прежний, можно ли улучшить запрос с точки зрения потребления памяти:
SELECT user, countDistinct(article) as count from (SELECT article, arrayJoin(arraySlice(arraySort((x,y)->y, groupArray(user),groupArray(toUnixTimestamp(time))),1,10)) as user from db WHERE status='read' group by article) group by user order by count desc limit 25
А что вы попробовали то? Какой запрос? Какая ошибка?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ada Min
Попробовал, выдает экспешны даже на тех запросах, которые оригинальный вариант нормально отрабатывал.

Так что вопрос прежний, можно ли улучшить запрос с точки зрения потребления памяти:
SELECT user, countDistinct(article) as count from (SELECT article, arrayJoin(arraySlice(arraySort((x,y)->y, groupArray(user),groupArray(toUnixTimestamp(time))),1,10)) as user from db WHERE status='read' group by article) group by user order by count desc limit 25
какие таких эксепшины?
что с max_bytes_before_external_group_by max_bytes_before_external_sort
источник