В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4722 membersпожаловаться на группу
2021 January 25

r

rasstroen in ClickHouse не тормозит
А кто сталкивался с движком buffer? Memory limit (total) exceeded: would use 56.15 GiB (attempt to allocate chunk of 4316124 bytes), maximum: 56.15 GiB. У меня буфер 8 потоков с макс мемори в 4 Гига, при инсерте в него вылетает ошибка выше (причем в ошибке память полная ноды) периодически - по мониторингу кх по памяти не растет, свободной есть, играюсь с размерами буферов - не помогает(
источник
15:55пожаловаться#1

AV

Alex Vorobiev in ClickHouse не тормозит
подскажите, пожалуйста, можно ли настроить автоматическую генерацию значения в uuid-колонке на уровне таблицы? чтобы при инсертах это не нужно было указывать?
источник
16:36пожаловаться#2

S

Slach in ClickHouse не тормозит
Artem Chekunov
.spec.configuration.clusters
извините за долгий ответ https://github.com/Altinity/clickhouse-operator/issues/636#issuecomment-766818294
GitHub
Is there is available a telegram chat? · Issue #636 · Altinity/clickhouse-operator
Is there is available a telegram community?
источник
16:36пожаловаться#3

M

Mishanya in ClickHouse не тормозит
Alex Vorobiev
подскажите, пожалуйста, можно ли настроить автоматическую генерацию значения в uuid-колонке на уровне таблицы? чтобы при инсертах это не нужно было указывать?
columnn default generateUUIDv4() может сработать
источник
16:37пожаловаться#4

S

Slach in ClickHouse не тормозит
rasstroen
А кто сталкивался с движком buffer? Memory limit (total) exceeded: would use 56.15 GiB (attempt to allocate chunk of 4316124 bytes), maximum: 56.15 GiB. У меня буфер 8 потоков с макс мемори в 4 Гига, при инсерте в него вылетает ошибка выше (причем в ошибке память полная ноды) периодически - по мониторингу кх по памяти не растет, свободной есть, играюсь с размерами буферов - не помогает(
при создании таблицы с engine=Buffer
есть параметры типа max_bytes
https://clickhouse.tech/docs/en/engines/table-engines/special/buffer/
он у вас сколько задан?
clickhouse.tech
Buffer | ClickHouse Documentation
Buffer Table Engine Buffers the data to write in RAM, periodically flushing it to another table. During the read operati
источник
16:38пожаловаться#5

r

rasstroen in ClickHouse не тормозит
Slach
при создании таблицы с engine=Buffer
есть параметры типа max_bytes
https://clickhouse.tech/docs/en/engines/table-engines/special/buffer/
он у вас сколько задан?
clickhouse.tech
Buffer | ClickHouse Documentation
Buffer Table Engine Buffers the data to write in RAM, periodically flushing it to another table. During the read operati
ENGINE = Buffer('db', 'tbl', 8, 1, 6, 6000, 20000, 25000000, 25000000)
источник
16:39пожаловаться#6

r

rasstroen in ClickHouse не тормозит
0.2G
источник
16:39пожаловаться#7

r

rasstroen in ClickHouse не тормозит
я кажется понял, мы просто вообще всю память съели
источник
16:40пожаловаться#8

r

rasstroen in ClickHouse не тормозит
и вот этот буфер он не влезает никак
источник
16:40пожаловаться#9

r

rasstroen in ClickHouse не тормозит
пошел гуглить как правильно отдать под буфер памяти бы
источник
16:40пожаловаться#10

S

Slach in ClickHouse не тормозит
Alex Vorobiev
подскажите, пожалуйста, можно ли настроить автоматическую генерацию значения в uuid-колонке на уровне таблицы? чтобы при инсертах это не нужно было указывать?
лучше так не делать
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений

зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
источник
16:40пожаловаться#11

S

Slach in ClickHouse не тормозит
rasstroen
пошел гуглить как правильно отдать под буфер памяти бы
у вас на INSERT вылетает ошибка с аллокацией памяти?

а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)

у вас какой?
источник
16:42пожаловаться#12

AV

Alex Vorobiev in ClickHouse не тормозит
Slach
лучше так не делать
это бесполезные для clickhouse данные
весить будут дофига
а выборку по ним делать напряжно потому что это высоко кардинальные данные без монотонного возрастания значений

зачем вы хотите генерировать эту колонку? что вы потом собираетесь с этими данными делать?
для того, чтобы в другой таблице (в mysql) иметь ссылку на строки из таблицы в кх. в кх при этом есть пара колонок, образующих уник, но удобнее ссылаться на 1 колонку в стандартном формате, чем на 2 или больше
источник
16:42пожаловаться#13

r

rasstroen in ClickHouse не тормозит
Slach
у вас на INSERT вылетает ошибка с аллокацией памяти?

а как вы INSERT делаете? в каком формате?
есть два вида инсертов, стриминговые (память аллоцируется пропорционально кол-ву вставляемых столбцов и дальше потоковый парсинг) и statement (когда перед тем как вставить надо весь SQL распарсить в память)

у вас какой?
на него, sql по http INSERT INTO.... и многострок в VALUES
источник
16:43пожаловаться#14

S

Slach in ClickHouse не тормозит
rasstroen
на него, sql по http INSERT INTO.... и многострок в VALUES
перейдите на TSV или CSV
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
источник
16:44пожаловаться#15

r

rasstroen in ClickHouse не тормозит
Slach
перейдите на TSV или CSV
у вас там каких нибудь expression нет случайно в INSERT которые перед вставкой вычислять еще придется?
нет, только циферкм
источник
16:44пожаловаться#16

r

rasstroen in ClickHouse не тормозит
проблема в том что в таблицу вставляется так ок
источник
16:44пожаловаться#17

r

rasstroen in ClickHouse не тормозит
а в буфер - ошибка такая (плюс соседние запросы с ней же падают)
источник
16:44пожаловаться#18

r

rasstroen in ClickHouse не тормозит
то есть вставка в буфер жрет памяти лишней
источник
16:45пожаловаться#19

S

Slach in ClickHouse не тормозит
Alex Vorobiev
для того, чтобы в другой таблице (в mysql) иметь ссылку на строки из таблицы в кх. в кх при этом есть пара колонок, образующих уник, но удобнее ссылаться на 1 колонку в стандартном формате, чем на 2 или больше
что-то откровенно говоря не могу представить кейс в котором такая связка была бы полезна...

то есть вы что хотите сделать то?
после вставки в clickhouse вы потом в clickhouse данные как то фильтруете и обратно вставляете в MySQL чтобы на стороне MySQL join сделать, или что?
источник
16:46пожаловаться#20