Size: a a a

ClickHouse не тормозит

2020 September 29

G

Gleb in ClickHouse не тормозит
Как отступ сбрасывать на нужную позицию
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
ну попробуйте insert_quorum может вам подойдет
источник

G

Gleb in ClickHouse не тормозит
Потестим
источник

G

Gleb in ClickHouse не тормозит
Спасибо
Кластер у нас маленький может и норм
источник

MU

Max Ulan in ClickHouse не тормозит
Подскажите, пожалуйста, есть запрос вида
SELECT x, y, uniq(uid) FROM ( 
 SELECT uid, x FROM t1
) as q1
ALL INNER JOIN (
 SELECT uid, y FROM t2
) as q2 ON q1.uid = q2.uid

Подзапросы выполняются быстро с использованием всех ядер, однако на этапе JOIN запрос тормозит. Похоже, что используется только один поток. Можно ли каким-то образом распаралелить JOIN или ускорить запрос иным способом?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Max Ulan
Подскажите, пожалуйста, есть запрос вида
SELECT x, y, uniq(uid) FROM ( 
 SELECT uid, x FROM t1
) as q1
ALL INNER JOIN (
 SELECT uid, y FROM t2
) as q2 ON q1.uid = q2.uid

Подзапросы выполняются быстро с использованием всех ядер, однако на этапе JOIN запрос тормозит. Похоже, что используется только один поток. Можно ли каким-то образом распаралелить JOIN или ускорить запрос иным способом?
этот запрос можно переписать без join

типа

SELECT x, y, uniq( uid) FROM (
 SELECT uid, x, -100 y FROM t1    union all
 SELECT uid, -100 x, y FROM t2
) group by uid
where x <> -100 and y <> -100
источник

MU

Max Ulan in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
этот запрос можно переписать без join

типа

SELECT x, y, uniq( uid) FROM (
 SELECT uid, x, -100 y FROM t1    union all
 SELECT uid, -100 x, y FROM t2
) group by uid
where x <> -100 and y <> -100
Спасибо, попробую.
источник

T

Tatiana in ClickHouse не тормозит
Andrey Bobelev
Привет, в версии 20.6 очень много таблиц с is_leader: 1 на обоих репликах. Репликаиця при этом работает.

Но на некоторых таблицах не могу удалить колонку, пишет про несоответсвие данных в зк и локальных метаданных. Рестарты не помогают.
Начиная с 20.5 все таблицы стали лидерами на всех репликах, это нормально.
Какая 20.6 у вас? Попробуйте обновить до 20.6.7
источник

AB

Andrey Bobelev in ClickHouse не тормозит
Tatiana
Начиная с 20.5 все таблицы стали лидерами на всех репликах, это нормально.
Какая 20.6 у вас? Попробуйте обновить до 20.6.7
20.6.6
Меня смущает, что я не могу сделать drop column из-за разных версий метаданных в зк и на сервере, причем рестарт это не лечит (раньше лечил)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey Bobelev
20.6.6
Меня смущает, что я не могу сделать drop column из-за разных версий метаданных в зк и на сервере, причем рестарт это не лечит (раньше лечил)
не надо пересказывать своими словами ошибки, покажите copy/paste
источник

T

Tatiana in ClickHouse не тормозит
Я подозреваю, что они отличаются пробелами. Такое само не пройдет. Или менять руками в Зукипере, или апгрейдиться на версию, которая на пробелы не смотрит
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
пробелы еще в 20.3 пофиксили https://github.com/ClickHouse/ClickHouse/pull/11739
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
Всем привет. Сейчас пирог такого вида. Запрос в Grafana такой:
SELECT
   1,
   request_uri,
   count(*) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY request_uri
ORDER BY Reqs desc
LIMIT 10
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
В таблице базы есть колонка server_name, в которой скапливаются доменные имена.

Подскажите пожалуйста как объединить колонку server_name с колонкой request_uri, чтобы в пироге строки были не /дальше_пошёл_путь, а вида domain.ru/дальше_пошёл_путь?
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
Вот такая у меня структура
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
Пробовал так, но клик меня послал ))
SELECT
   1,
   CONCAT('server_name','request_uri'),
   count(*) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY CONCAT('server_name','request_uri')
ORDER BY Reqs desc
LIMIT 10
источник

M

Maksimus Ulibikus in ClickHouse не тормозит
Так тоже ругается
SELECT
   1,
   server_name + request_uri,
   count(*) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY server_name + request_uri
ORDER BY Reqs desc
LIMIT 10;
источник

EI

Eugene Ivlev in ClickHouse не тормозит
Привет. Решал ли кто проблему поиска перекрывающихся по времени событий? У каждого события есть 2 колонки - дата начала и дата конца плюс другие данные.
Я пробовал вот это решение из первого ответа https://stackoverflow.com/questions/57347444/collapsing-overlapping-time-intervals-using-clickhouse/ и написал ещё одно (2 ответ), но проблема в количестве памяти, которое требуется для этого.
Первое решение мне по памяти не подходит, т.к. нужно одновременно искать пересечения у тысяч событий.
Второе не подходит тем, что мне нужно после объединения ещё и кое-какие данные прицепить из исходных событий. Здесь такое не получится.
Собственно, может кто знает как оптимизировать первое решение?
источник