Телеграмм чат группы clickhouse

2020 May 28

VB

Vladimir Bunchuk in ClickHouse не тормозит

Ребят, привет!
Во время большого запроса получаю ошибку по мемори лимиту, хотя max_memory_usage стоит 50Gb
В чем может быть проблема?

DB::Exception: Memory limit (for query) exceeded: would use 37.43 GiB (attempt to allocate chunk of 268435456 bytes), maximum: 37.25 GiB.

источник

13:50пожаловаться #1

OM

Oleksii Mylotskyi in ClickHouse не тормозит

Dmitry Titov

вообще идеальное решение, это вы на стороне приложения знаете, какие данные куда класть.
Или допустим пользуетесь кафкой и топиками.
потому что дистрибьютед вставка умножает запись в 1.5-2 раза(сначала в дистрибьютед и только потом на нужный шард)

а, ок, я понял.
А подскажите что если у меня уже отстает второй шард, могу ли я просто из папки дистрибьютед таблицы удалить *.bin файлы которые отправляются удалить и данные перевставить в этот шард ? или нужны будут манипуляции в ZK ?

источник

13:57пожаловаться #2

ДМ

Дмитрий Мищенко... in ClickHouse не тормозит

Подскажите а можно как-то узнать сколько весит 1 день или 1 партиция данных в байтах?

источник

14:37пожаловаться #3

DT

Dmitry Titov in ClickHouse не тормозит

Дмитрий Мищенко

Подскажите а можно как-то узнать сколько весит 1 день или 1 партиция данных в байтах?

да, из таблицы system,parts;

источник

14:38пожаловаться #4

S

Shazo in ClickHouse не тормозит

В таблице system.parts есть по партам. Там суммируете нужные.

источник

14:38пожаловаться #5

DT

Dmitry Titov in ClickHouse не тормозит

Oleksii Mylotskyi

а, ок, я понял.
А подскажите что если у меня уже отстает второй шард, могу ли я просто из папки дистрибьютед таблицы удалить *.bin файлы которые отправляются удалить и данные перевставить в этот шард ? или нужны будут манипуляции в ZK ?

можно, но скорее всего желательно остановить сервер/детачкнуть таблицу

источник

14:40пожаловаться #6

DT

Dmitry Titov in ClickHouse не тормозит

Oleksii Mylotskyi

а, ок, я понял.
А подскажите что если у меня уже отстает второй шард, могу ли я просто из папки дистрибьютед таблицы удалить *.bin файлы которые отправляются удалить и данные перевставить в этот шард ? или нужны будут манипуляции в ZK ?

>или нужны будут манипуляции в ZK
У тебя же реплицируются таблицы с движком MergeTree, но до них данные еще не долетели

источник

14:40пожаловаться #7

mc

mikhail chubukov in ClickHouse не тормозит

Привет,

Хочу создать поле в MergeTree load_date Date MATERIALIZED today()
Да еще и партиционировать по нему.

Насколько рабочий и не тупой вариант?)

источник

14:55пожаловаться #8

S

Shazo in ClickHouse не тормозит

Можно же обычное поле с DEFAULT наверное, иначе на * же мат поля не выводятся к примеру.

источник

14:56пожаловаться #9

DT

Dmitry Titov in ClickHouse не тормозит

mikhail chubukov

Привет,

Хочу создать поле в MergeTree load_date Date MATERIALIZED today()
Да еще и партиционировать по нему.

Насколько рабочий и не тупой вариант?)

INSERT SELECT * не будет работать нормально

источник

14:56пожаловаться #10

DT

Dmitry Titov in ClickHouse не тормозит

вариант с дефолтом лучше. да

источник

14:56пожаловаться #11

MP

Mike Po in ClickHouse не тормозит

Господа нужен совет, есть табличка MergeTree

PARTITION BY (toYYYYMM(EventDate), EventId) 
ORDER BY (EventId, EventDate)

пытаюсь ее скопировать с помощью clickhouse-copier, он делает выборку из таблицы со следующим условием:

WHERE (toYYYYMM(EventDate), EventId) = ((201906, 'SGP') AS partition_key)

В итоге получается фулскан огромной таблицы, что можно сделать чтобы он читал только нужную партицию?

источник

14:59пожаловаться #12

DT

Dmitry Titov in ClickHouse не тормозит

Mike Po

Господа нужен совет, есть табличка MergeTree

PARTITION BY (toYYYYMM(EventDate), EventId) 
ORDER BY (EventId, EventDate)

пытаюсь ее скопировать с помощью clickhouse-copier, он делает выборку из таблицы со следующим условием:

WHERE (toYYYYMM(EventDate), EventId) = ((201906, 'SGP') AS partition_key)

В итоге получается фулскан огромной таблицы, что можно сделать чтобы он читал только нужную партицию?

а сколько различных EventId?

источник

15:00пожаловаться #13

S

Shazo in ClickHouse не тормозит

Обычное поле, но указав для него DEFAULT https://clickhouse.tech/docs/ru/sql-reference/statements/create/#create-default-values

clickhouse.tech

CREATE - Документация ClickHouse

CREATE DATABASE Создает базу данных. CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(...)]

источник

15:00пожаловаться #14

DT

Dmitry Titov in ClickHouse не тормозит

Mike Po

Господа нужен совет, есть табличка MergeTree

PARTITION BY (toYYYYMM(EventDate), EventId) 
ORDER BY (EventId, EventDate)

пытаюсь ее скопировать с помощью clickhouse-copier, он делает выборку из таблицы со следующим условием:

WHERE (toYYYYMM(EventDate), EventId) = ((201906, 'SGP') AS partition_key)

В итоге получается фулскан огромной таблицы, что можно сделать чтобы он читал только нужную партицию?

вообще должен сработать PARTITION ELIMINATION, в логах проверял?

источник

15:00пожаловаться #15

mc

mikhail chubukov in ClickHouse не тормозит

Shazo

Обычное поле, но указав для него DEFAULT https://clickhouse.tech/docs/ru/sql-reference/statements/create/#create-default-values

clickhouse.tech

CREATE - Документация ClickHouse

CREATE DATABASE Создает базу данных. CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] [ENGINE = engine(...)]

Спасибо!

источник

15:00пожаловаться #16

MP

Mike Po in ClickHouse не тормозит

Dmitry Titov

а сколько различных EventId?

около 50

источник

15:03пожаловаться #17

DC

Denny Crane (I don't... in ClickHouse не тормозит

Mike Po

Господа нужен совет, есть табличка MergeTree

PARTITION BY (toYYYYMM(EventDate), EventId) 
ORDER BY (EventId, EventDate)

пытаюсь ее скопировать с помощью clickhouse-copier, он делает выборку из таблицы со следующим условием:

WHERE (toYYYYMM(EventDate), EventId) = ((201906, 'SGP') AS partition_key)

В итоге получается фулскан огромной таблицы, что можно сделать чтобы он читал только нужную партицию?

вы туплы сравниваете. Надо отдельно поля

источник

15:03пожаловаться #18

DT

Dmitry Titov in ClickHouse не тормозит

Mike Po

около 50

PARTITION BY (toYYYYMM(EventDate), EventId) 
ORDER BY (EventId, EventDate)

Кстати

EventId

в ORDER BY вообще тогда не нужен
Но вообще странное партицирование

источник

15:03пожаловаться #19

MP

Mike Po in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

вы туплы сравниваете. Надо отдельно поля

ну clickhouse-copier так делает, не уверен что его можно заставить под другому ((

источник

15:04пожаловаться #20