Size: a a a

ClickHouse не тормозит

2020 May 15

SL

Sergey Lossev in ClickHouse не тормозит
Народ, подскажите, плз. Явно я не то, что надо, делаю...
Делаю множественный ANY LEFT JOIN двумя способами - каскадно и последовательно - и получаю таблицы разной длины

Похоже, я ожидаю, что ANY LEFT JOIN будет выбирать первое попавшееся значение от внутренней таблицы, но, судя по всему, как раз ANY здесь и не работает

SELECT 
 {cols}
FROM (
 SELECT {cols}, adr_ad, adr_profile, adr_banner
 FROM data_base.v2_sessions_and_goals
 WHERE simple_date BETWEEN '2020-01-01' AND '2020-01-31'
--   LIMIT 1000
) as logs
ANY LEFT JOIN (
 SELECT *
 FROM data_base.adriver_ad_names
 ORDER BY date DESC
) as ad_names ON logs.adr_ad = ad_names.id
ANY LEFT JOIN (
 SELECT *
 FROM data_base.adriver_profile_names
 ORDER BY date DESC
) as profile_names ON logs.adr_profile = profile_names.id
ANY LEFT JOIN (
 SELECT *
 FROM data_base.adriver_banners_utm
 ORDER BY date DESC
) as banners_utm ON logs.adr_banner = banners_utm.banner_id
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Any Left Join имеет  разный смысл в 19 и в 20
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Левая таблица тоже схлопывается
источник

SL

Sergey Lossev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Левая таблица тоже схлопывается
Почему тогда она не схлопывается при каскадном выполнении. При том же ANY
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Почему тогда она не схлопывается при каскадном выполнении. При том же ANY
какая версия КХ ?

если сделать any_join_distinct_right_table_keys=1 меняется результат?
источник

SL

Sergey Lossev in ClickHouse не тормозит
У меня 20
источник

SL

Sergey Lossev in ClickHouse не тормозит
бааалин... ребят, отбой - считал количество строк по таблице system.parts, а часть партиций неактивна после всех джоинов
источник

SL

Sergey Lossev in ClickHouse не тормозит
Через некоторое время всё выравнивается, и размеры таблиц становятся равными
источник

vk

vladimir kolobaev in ClickHouse не тормозит
Ребят помогите понять какие индексы для таблицы существуют.
Выполнил команду вида
ALTER TABLE db1.table ADD INDEX 
   idx1 (server_name, hostname) TYPE set(0) GRANULARITН 10

КХ долго мержил данные, после чего запросы стали выполняться значительно шустрее чем раньше, но пока не понятно где эти индексы посмотреть
источник

vk

vladimir kolobaev in ClickHouse не тормозит
и сколько их таких можно добавить
источник

A

Andrey in ClickHouse не тормозит
vladimir kolobaev
Ребят помогите понять какие индексы для таблицы существуют.
Выполнил команду вида
ALTER TABLE db1.table ADD INDEX 
   idx1 (server_name, hostname) TYPE set(0) GRANULARITН 10

КХ долго мержил данные, после чего запросы стали выполняться значительно шустрее чем раньше, но пока не понятно где эти индексы посмотреть
Show create table не показывает?
источник

vk

vladimir kolobaev in ClickHouse не тормозит
Andrey
Show create table не показывает?
неа, там как было так все и осталось
...
PARTITION BY event_date ORDER BY (hostname, request_uri, remote_addr, event_date) SETTINGS index_granularity = 8192
источник

vk

vladimir kolobaev in ClickHouse не тормозит
спасибо, нашел
источник

VF

Vladislav Filippov in ClickHouse не тормозит
А как можно найти разницу между двумя массивами? В обоих около 600К элементов. Через arrayFilter памяти не хватает )
Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (for query) exceeded: would use 2.00 TiB
источник

A

Alex in ClickHouse не тормозит
Установил по
https://clickhouse.tech/docs/ru/development/build-osx/

как на маке в терминале запустить кликхаус подскажите?
источник

KL

Kamiλ Liberal-free in ClickHouse не тормозит
@den_crane кстати, я таки до 70 мс сократил время выполнения запроса. Сделал другую таблицу (только с используемыми данными) и индекс сделал по убыванию селективности.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kamiλ Liberal-free
@den_crane кстати, я таки до 70 мс сократил время выполнения запроса. Сделал другую таблицу (только с используемыми данными) и индекс сделал по убыванию селективности.
по убыванию селективности -- это слишком упрощенное объяснение. Я же говорил вам какие поля и в каком порядке вам надо включить в индекс
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и не надо включать в индекс много полей  -- 3 - 4 это максимум
источник

KL

Kamiλ Liberal-free in ClickHouse не тормозит
Вот так, ровно наоборот сделал:ORDER BY (hotelId, startDate, operator);
источник

KL

Kamiλ Liberal-free in ClickHouse не тормозит
Т.к. я в запросе требую данные только по 1 отелю
источник