Size: a a a

ClickHouse не тормозит

2020 August 16

Н

Нуркасым in ClickHouse не тормозит
Всем привет. Может ли кто-нибудь подсказать, есть таблицы созданные на движке ReplacingMergeTree и, когда я делаю select из одной таблицы  вместе с  2 ANY LEFT OUTER JOIN, то идет очень большая нагрузка на диск. Кстати, данный селект запускается каждые 30 минут
источник

Н

Нуркасым in ClickHouse не тормозит
Нуркасым
Всем привет. Может ли кто-нибудь подсказать, есть таблицы созданные на движке ReplacingMergeTree и, когда я делаю select из одной таблицы  вместе с  2 ANY LEFT OUTER JOIN, то идет очень большая нагрузка на диск. Кстати, данный селект запускается каждые 30 минут
из за чего такая большая нагрузка на диск? при том, что результат запроса содержит максимум 600 записей
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Нуркасым
Всем привет. Может ли кто-нибудь подсказать, есть таблицы созданные на движке ReplacingMergeTree и, когда я делаю select из одной таблицы  вместе с  2 ANY LEFT OUTER JOIN, то идет очень большая нагрузка на диск. Кстати, данный селект запускается каждые 30 минут
какая версия КХ? результат запроса правильный? начиная с 20 ANY действует на левую и правую таблицы
источник

Н

Нуркасым in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
какая версия КХ? результат запроса правильный? начиная с 20 ANY действует на левую и правую таблицы
результат запроса верный
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Нуркасым
результат запроса верный
и сколько записей в исходных таблицах?
источник

DN

Dmitriy Novikov in ClickHouse не тормозит
А почему mv на таблицу где String заменены на int функцией toInt64orZero вечит почти в 2 раза больше?  toInt64orZero использует NULL?
.inner.events_mv,47.21
events,28.59
источник

Н

Нуркасым in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и сколько записей в исходных таблицах?
в основной 600 при where, к нему добавленные 2 в общем кол-ве содержат 4.7KK, 1KK
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Нуркасым
в основной 600 при where, к нему добавленные 2 в общем кол-ве содержат 4.7KK, 1KK
т.е. надо как-то фильтровать ту в которой 4.7кк, КХ не использует индексы для джойна и грузит все правые таблицы целиком в память.
источник

Н

Нуркасым in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
т.е. надо как-то фильтровать ту в которой 4.7кк, КХ не использует индексы для джойна и грузит все правые таблицы целиком в память.
попробовал отфильтровать 2 таблицы при JOIN-е, повлияет ли это на скорость выборки?
источник

Н

Нуркасым in ClickHouse не тормозит
без данного изменения выполнилось за "3 s 569 ms", при добавленных фильтрах- "18 s 18 ms"
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Нуркасым
попробовал отфильтровать 2 таблицы при JOIN-е, повлияет ли это на скорость выборки?
create table L(A Int64) Engine=MergeTree order by A;
insert into L select number from numbers(3);

create table R(A Int64) Engine=MergeTree order by A;
insert into R select number from numbers(3000000);


select count() from L any left join R using A
--
3

Elapsed: 0.224 sec. Processed 3.00 million rows, 24.00 MB


select count() from L any left join (select * from R where A in (select A from L)) R1 using A;
--
3

Elapsed: 0.004 sec. Processed 8.20 thousand rows, 65.56 KB
источник

Н

Нуркасым in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
create table L(A Int64) Engine=MergeTree order by A;
insert into L select number from numbers(3);

create table R(A Int64) Engine=MergeTree order by A;
insert into R select number from numbers(3000000);


select count() from L any left join R using A
--
3

Elapsed: 0.224 sec. Processed 3.00 million rows, 24.00 MB


select count() from L any left join (select * from R where A in (select A from L)) R1 using A;
--
3

Elapsed: 0.004 sec. Processed 8.20 thousand rows, 65.56 KB
ок, понял, спасибо
источник

K

Kos in ClickHouse не тормозит
скажите пожалуйста, вот этот вывод информации   , после выполнения запроса:
Elapsed: 0.004 sec. Processed 8.20 thousand rows, 65.56 KB
можно ли включить его вывод в output на других клиентах?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
можно, в тех которые умеют.
Есть параметр send_progress_in_http_headers и в http хедерах прилетают значения

curl -vv 'http://localhost:8123/?send_progress_in_http_headers=1' --data-binary @testa3.sql

< X-ClickHouse-Progress: {"read_rows":"24 996 720","read_bytes":"204755840","total_rows":"38 308 864"}
источник

K

Kos in ClickHouse не тормозит
спасибо!
источник
2020 August 17

MU

Max Ulan in ClickHouse не тормозит
Не могу найти в CHANGELOG.md - в какой версии появилась role-based SQL workflow для управления правами доступа пользователей?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Max Ulan
Не могу найти в CHANGELOG.md - в какой версии появилась role-based SQL workflow для управления правами доступа пользователей?
20.3-20.4
источник

O

Orlan in ClickHouse не тормозит
Привет всем! Хочу группировать даты по недельно. Как изменить день начала недели, например: неделя начинается со вторника, а не с понедельника ? toStartOfWeek
источник

AM

Alex ⭕️ More in ClickHouse не тормозит
Orlan
Привет всем! Хочу группировать даты по недельно. Как изменить день начала недели, например: неделя начинается со вторника, а не с понедельника ? toStartOfWeek
обернуть в addDays
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
AddDays(toStartOfWeek(date), 1)
источник