Телеграмм чат группы clickhouse

Запрос с кучей join через clickhouse-client выполнятеся, причем достаточно быстро. А через http - падает по памяти. Единственное что нашел - https://github.com/ClickHouse/ClickHouse/issues/9702
Но у меня не включен partial join, в настройках явно указано что join_algorithm='hash'

GitHub

Setting `max_bytes_in_join` and actual memory consumption · Issue #9702 · ClickHouse/ClickHouse

In ClickHouse 20.3.1, I tried this query with different max_bytes_in_join settings: select number from numbers(1) as a any left join numbers(100000000) as b using number With these settings, it wor...

разные пользователи ? с разным max_memory_usage ?

источник

19:12пожаловаться #3

Edya in ClickHouse не тормозит

Коллеги, есть csv-файлы в которых есть True/False значения. Как их правильнее импортировать в таблицу (Int8) ? Только sed?

источник

20:07пожаловаться #4

Denny Crane (I don't... in ClickHouse не тормозит

Edya

Коллеги, есть csv-файлы в которых есть True/False значения. Как их правильнее импортировать в таблицу (Int8) ? Только sed?

можно и КХ, через input function, но это может более трудоемко чем sed

источник

20:27пожаловаться #5

Dmitry Titov in ClickHouse не тормозит

Edya

Коллеги, есть csv-файлы в которых есть True/False значения. Как их правильнее импортировать в таблицу (Int8) ? Только sed?

сделать тип enum?

источник

21:05пожаловаться #6

Edya in ClickHouse не тормозит

Dmitry Titov

сделать тип enum?

не обязательно, сделал так:

... | sed -e "s/,False,/,0,/g" -e "s/,True,/,1,/g" | clickhouse-client ...

источник

21:48пожаловаться #7

Dmitry Titov in ClickHouse не тормозит

Edya

не обязательно, сделал так:

... | sed -e "s/,False,/,0,/g" -e "s/,True,/,1,/g" | clickhouse-client ...

Ну можно и седом, но есть подозрение, что это будет чутка медленее, чем могло бы

источник

21:49пожаловаться #8

Edya in ClickHouse не тормозит

Dmitry Titov

Ну можно и седом, но есть подозрение, что это будет чутка медленее, чем могло бы

а чутка быстрее это как?

источник

21:49пожаловаться #9

Dmitry Titov in ClickHouse не тормозит

Edya

а чутка быстрее это как?

ну либо через input function либо через тип enum, но это предположения)
Но эти пути более трудоемки чем сед, да. И на мелких объемах данных скорее всего никакого выигрыша не будет.

источник

21:51пожаловаться #10

Edya in ClickHouse не тормозит

Dmitry Titov

CREATE TABLE t_enum
(
x Nullable(Enum('False' = 0, 'True' = 1))

через enum это имеется в виду?

источник

21:54пожаловаться #11

Dmitry Titov in ClickHouse не тормозит

Edya

CREATE TABLE t_enum
(
x Nullable(Enum('False' = 0, 'True' = 1))

через enum это имеется в виду?

Да, такого вида. и nullable лучше избегать по возможности

источник

21:54пожаловаться #12

Edya in ClickHouse не тормозит

про nullable знаю, но в моем кейсе придется etl отдельный городить, если не использовать null

источник

21:55пожаловаться #13

Edya in ClickHouse не тормозит

спасибо

источник

21:55пожаловаться #14

Denis Gee in ClickHouse не тормозит

/stat@combot

источник

22:14пожаловаться #15

Denis Gee in ClickHouse не тормозит

/stat@combot

источник

22:14пожаловаться #16

Combot in ClickHouse не тормозит

Total messages: 172666

источник

22:14пожаловаться #17

Dimitriy Scherbenko in ClickHouse не тормозит

Подскажите, пожалуйста, есть ли возможность установить триггер MV на инсерт данных только в одну таблицу, когда в самом MV задействованы 2 таблицы (посредствам join)? Причина в том, что в две таблицы поступают данные с разной скоростью. Спасибо.

источник

22:57пожаловаться #18

Dj in ClickHouse не тормозит

Dimitriy Scherbenko

MV - insert trigger, над блоком, хорошего ничего не будет.
делайте поиск по чату "MV join"

источник

23:24пожаловаться #19

Dimitriy Scherbenko in ClickHouse не тормозит

MV - insert trigger, над блоком, хорошего ничего не будет.
делайте поиск по чату "MV join"

Спасибо

источник

23:25пожаловаться #20