Телеграмм чат группы clickhouse_ru страница 8299

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу

2020 September 18

K

Kid in ClickHouse не тормозит

недостаточно минералов информации... но это не суть, можете join делать, проблемы не вижу

левая таблица большая, справа два справочника.
к первому по двум столбцам джойн(по дате и ид), ко второму по ид.
Нужно это для того, чтобы если из первого справочника совпадений не найдено, то во втором точно будут. Это все для coalesce в select

источник

11:59пожаловаться #1

l

lnuynxa in ClickHouse не тормозит

левая таблица большая, справа два справочника.
к первому по двум столбцам джойн(по дате и ид), ко второму по ид.
Нужно это для того, чтобы если из первого справочника совпадений не найдено, то во втором точно будут. Это все для coalesce в select

Нужно избегать попаданий больших таблиц в правую часть, должно быть наоборот-> самая жирная таблица слева

источник

12:00пожаловаться #2

l

lnuynxa in ClickHouse не тормозит

Правые таблицы поднимаются в оперативную память просто

источник

12:00пожаловаться #3

K

Kid in ClickHouse не тормозит

Нужно избегать попаданий больших таблиц в правую часть, должно быть наоборот-> самая жирная таблица слева

сори, сча исправлю сообщение

источник

12:00пожаловаться #4

K

Kid in ClickHouse не тормозит

Правые таблицы поднимаются в оперативную память просто

исправил

источник

12:01пожаловаться #5

D

Dj in ClickHouse не тормозит

левая таблица большая, справа два справочника.
к первому по двум столбцам джойн(по дате и ид), ко второму по ид.
Нужно это для того, чтобы если из первого справочника совпадений не найдено, то во втором точно будут. Это все для coalesce в select

ну попробуйте как я описал, должно сработать без проблем.

select tableft join (select t1 join t2 on t1.id=t2.id)

источник

12:02пожаловаться #6

K

Kid in ClickHouse не тормозит

ну попробуйте как я описал, должно сработать без проблем.

select tableft join (select t1 join t2 on t1.id=t2.id)

спс, сча пробую

источник

12:03пожаловаться #7

l

lnuynxa in ClickHouse не тормозит

левая таблица большая, справа два справочника.
к первому по двум столбцам джойн(по дате и ид), ко второму по ид.
Нужно это для того, чтобы если из первого справочника совпадений не найдено, то во втором точно будут. Это все для coalesce в select

Можно второй джоин(300 строк где) заменить на dictGet еще

источник

12:03пожаловаться #8

l

lnuynxa in ClickHouse не тормозит

но dictGet запросто сможет выжрать все цпу)

источник

12:03пожаловаться #9

K

Kid in ClickHouse не тормозит

А так всегда в КХ, один джойн ок, два тормозят?

источник

12:04пожаловаться #10

D

Dj in ClickHouse не тормозит

А так всегда в КХ, один джойн ок, два тормозят?

нет, каждый третий раз

источник

12:05пожаловаться #11

D

Dj in ClickHouse не тормозит

но dictGet запросто сможет выжрать все цпу)

лучше день потерять, потом за пять минут долететь
да не должно сильно хуже хешджоина жрать, не?

источник

12:06пожаловаться #12

l

lnuynxa in ClickHouse не тормозит

лучше день потерять, потом за пять минут долететь
да не должно сильно хуже хешджоина жрать, не?

Ну у меня было что то вроде
два джоина жрут 15 цпу, скорость запроса x
джоин + dictGet(или даже джоин об Dictionary таблицу) жрет 32 цпу, скорость запроса 1.4x

источник

12:08пожаловаться #13

l

lnuynxa in ClickHouse не тормозит

Но у меня словари были сильно большими(миллионы строк), возможно в этом еще дело

источник

12:09пожаловаться #14

D

Dj in ClickHouse не тормозит

Ну у меня было что то вроде
два джоина жрут 15 цпу, скорость запроса x
джоин + dictGet(или даже джоин об Dictionary таблицу) жрет 32 цпу, скорость запроса 1.4x

как такое вообще может быть то? у меня КХ независимо от всего жрет на 100% столько сколько в max_threads (при отсутствии IO bottleneck)... или вы среднее высчитали по интервалу?

источник

12:14пожаловаться #15

l

lnuynxa in ClickHouse не тормозит

как такое вообще может быть то? у меня КХ независимо от всего жрет на 100% столько сколько в max_threads (при отсутствии IO bottleneck)... или вы среднее высчитали по интервалу?

multiple join работают немного по особенному, пока внутренний джоин не закончится внешний не будет работать как я понял.
https://github.com/ClickHouse/ClickHouse/issues/13862

Multiple INNER JOIN perfomance (20.6.3.54436) · Issue #13862 · ClickHouse/ClickHouse

Describe the situation While executing a query with multiple inner join's clickhouse doesn't use all of the available threads and spends a lot of time in pthread_cond_wait. How to r...

источник

12:15пожаловаться #16

D

Dj in ClickHouse не тормозит

multiple join работают немного по особенному, пока внутренний джоин не закончится внешний не будет работать как я понял.
https://github.com/ClickHouse/ClickHouse/issues/13862

Multiple INNER JOIN perfomance (20.6.3.54436) · Issue #13862 · ClickHouse/ClickHouse

Describe the situation While executing a query with multiple inner join's clickhouse doesn't use all of the available threads and spends a lot of time in pthread_cond_wait. How to r...

так в вашем примере 1 джоин против диктГет - не?

источник

12:16пожаловаться #17

l

lnuynxa in ClickHouse не тормозит

так в вашем примере 1 джоин против диктГет - не?

два джоина против dictGet+ джоин

источник

12:17пожаловаться #18

D

Dj in ClickHouse не тормозит

а, ну тогда спасибо за информацию.
записал

источник

12:17пожаловаться #19

D

Dj in ClickHouse не тормозит

но все равно на то он и ЦПУ, чтобы жрать его...

источник

12:18пожаловаться #20