В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4166 membersпожаловаться на группу
2020 August 13

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Внешние словари ?
а я не заметил про joinGet, я про коррелированный подздапрос отвечал.

словари можно кешировать (и не грузить в память целиком), но вообще непоятно что вы делаете и почему вам нужен такой запрос что у вас в table2 ?
это таблица фактов или словарь(размерность)?  сколько там строк?
источник
17:56пожаловаться#1

A

Alex in ClickHouse не тормозит
и в основной таблице и во второстепенных - сотни миллионов строк. это попытка объединения нескольких "классических" таблиц в одну широкую
источник
17:59пожаловаться#2

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
и в основной таблице и во второстепенных - сотни миллионов строк. это попытка объединения нескольких "классических" таблиц в одну широкую
это антипаттерн для КХ, не заработает, валите все в одну таблицу еще до КХ, на стадии ETL
источник
18:18пожаловаться#3

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
это антипаттерн для КХ, не заработает, валите все в одну таблицу еще до КХ, на стадии ETL
сам я это понимаю, коллеги против. Спасибо Вам, буду биться дальше...
источник
18:23пожаловаться#4

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
сам я это понимаю, коллеги против. Спасибо Вам, буду биться дальше...
так либо так либо никак, выбирать-то не из чего.
источник
18:25пожаловаться#5

G

Gleb in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
так либо так либо никак, выбирать-то не из чего.
А потом большую таблицу саму с собой джойнить? Или как составлять отчёт, если в нем нужны данные из нескольких таблиц
источник
19:16пожаловаться#6

MK

Maxim Kniazkov in ClickHouse не тормозит
Здравствуйте! Задача: Сырые события занимают много места. Решаю так - предагрегирую запросом и сливаю в другую таблицу. Запрос на чтение не сразу видит данные, булкинсертом вставленные. Что-то делаю не так? Как правильно?
источник
19:22пожаловаться#7

MK

Maxim Kniazkov in ClickHouse не тормозит
И, забыл, из таблицы с сырыми данными делаю удаление событий, по которым была сделана агрегация
источник
19:23пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
Gleb
А потом большую таблицу саму с собой джойнить? Или как составлять отчёт, если в нем нужны данные из нескольких таблиц
ммм, а зачем джойнить?

>, если в нем нужны данные из нескольких таблиц
валите все в одну таблицу (широкую ) еще до КХ, на стадии ETL
уже поджойненное как надо
источник
19:27пожаловаться#9

G

Gleb in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ммм, а зачем джойнить?

>, если в нем нужны данные из нескольких таблиц
валите все в одну таблицу (широкую ) еще до КХ, на стадии ETL
уже поджойненное как надо
Ясно, пока непонятно как там в etl джойнить)
источник
19:28пожаловаться#10

DC

Denny Crane (I don't... in ClickHouse не тормозит
Gleb
Ясно, пока непонятно как там в etl джойнить)
ну как как, как все джойнят.
У всех в этом чатике одна и таже проблема, как обогатить ивенты, если часть атрибутов приезжает позже.
источник
19:30пожаловаться#11

D

Dasha in ClickHouse не тормозит
Если используется Spark или MR - стандартно в скрипте Scala/или HiveQL аггрегировать данные, и вперёд 🙂 Заливать результат в денормализованную таблицу в CH
источник
19:31пожаловаться#12

D

Dasha in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну как как, как все джойнят.
У всех в этом чатике одна и таже проблема, как обогатить ивенты, если часть атрибутов приезжает позже.
Если позже - то либо пересчитывать за предшествующий день/несколько дней, либо ждать, пока все таблицы заполнятся
источник
19:32пожаловаться#13

S

Shadilan R16 MU Rost... in ClickHouse не тормозит
Выключи кльяну
источник
19:48пожаловаться#14

AZ

Alexander Zinoviev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну как как, как все джойнят.
У всех в этом чатике одна и таже проблема, как обогатить ивенты, если часть атрибутов приезжает позже.
Классно было бы это паттерн в какой-нибудь доке рассмотреть
источник
19:49пожаловаться#15

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Zinoviev
Классно было бы это паттерн в какой-нибудь доке рассмотреть
я это, канадский дба, без фантазии. Мне такое абсолютно неинтересно. Вот раид разломать, потом собрать, это ко мне.
источник
19:51пожаловаться#16

MK

Maxim Kniazkov in ClickHouse не тормозит
Maxim Kniazkov
Здравствуйте! Задача: Сырые события занимают много места. Решаю так - предагрегирую запросом и сливаю в другую таблицу. Запрос на чтение не сразу видит данные, булкинсертом вставленные. Что-то делаю не так? Как правильно?
А мой вопрос? Или он совсем за плинтусом?
источник
20:03пожаловаться#17

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Kniazkov
А мой вопрос? Или он совсем за плинтусом?
инсерт в таблицу с каким движком сырые данные заливает?
например есть Engine=Buffer который флашит данные в таблицу не сразу
вставка  в  Distributed асинхронная, есть флаг который это меняет и т.д.
источник
20:16пожаловаться#18

DC

Denny Crane (I don't... in ClickHouse не тормозит
>И, забыл, из таблицы с сырыми данными делаю удаление событий, по которым была сделана агрегация
это все можно сделать с помощью Materialized View над таблицей с движком Engine=Null даже
источник
20:18пожаловаться#19

MK

Maxim Kniazkov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
инсерт в таблицу с каким движком сырые данные заливает?
например есть Engine=Buffer который флашит данные в таблицу не сразу
вставка  в  Distributed асинхронная, есть флаг который это меняет и т.д.
ENGINE = MergeTree
источник
20:35пожаловаться#20