Size: a a a

ClickHouse не тормозит

2021 March 03

DT

Dmitry Titov in ClickHouse не тормозит
Федор
Коллеги есть вопрос.
Сейчас в компании рассматриваем возможность использования clickhouse.
Такая ситуация при вставки тестовых данных скорость инсерта была примерно 3сек на 100к записей.
Сейчас заливаю реальные данные скорость упала до 20-30 сёк на 2000 записей.
Подскажите за что можно зацепится?
Вставляете каким образом то? какой размер батча?
источник

Ф

Федор in ClickHouse не тормозит
Yuri Velgosha
Партиционирование какое используется для таблиц?
CREATE TABLE admin_test.CHContr
(
   ContragentId String,
   SessionShareId String,
   OrigContragentId String,
   NameContragent String,
   ContragentTypeName String,
   ContragentType String,
   ContragentFirstName String,
   ContragentLastName String,
   ContragentPhone String,
   ContragentFax String,
   ContragentPosition String,
   ContragentMobile String,
   ContragentEmail String,
   ContragentStatus String,
   ContragentWebsiteCompany String,
   ContragentCompanyName String,
   ContragentNameLegalForm String,
   ContragentRegistrationCodeValue String,
   ContragentRegistrationCode String,
   ContragentCity String,
   ContragentAddressStr String,
   ContragentBalanceType String,
   ContragentDate DateTime,
   ContragentAmount Int32,
   ContragentAmountOverdue Int32,
   ContactFullName String,
   ContactPosition String,
   OrigInvoiceId String,
   InvoiceCurrencyCode String,
   NumberInvoices String,
   conId String,
   InvoiceDateIssue DateTime,
   InvoiceDateDue DateTime,
   InvoiceStatus String,
   InvoiceAmountTotal Int32,
   InvoiceType String,
   InvoiceOrigCurrencyCode String,
   InvoiceOriginalAmount Int32,
   InvoiceAccountCode String,
   InvoiceAccountName String,
   InvoiceQuantity Int32,
   InvoiceDiscount Int32,
   InvoiceAmountLine Int32,
   InvoiceOriginalAmountLine Int32,
   InvoiceNameItems String,
   InvoiceItemDescriptoin String,
   InvoiceItemSalePrice Int32,
   InvoiceItemPurchasePrice Int32,
   InvoiceItemCode String,
   InvoiceItemMeasure String,
   InvoiceItemType String,
   InvoiceOrigPaymentId String,
   InvoicePaymentDate DateTime,
   InvoicePaymentStatus String,
   InvoicePaymentAmount Int32,
   InvoicePaymentDescription String,
   InvoicePaymentType String,
   InvoicePaymentMethod String,
   InvoicePaymentAccountCode String,
   InvoicePaymentAccountName String,
   InvoicePaymentCurrencyCode String
)
ENGINE = MergeTree
ORDER BY (SessionShareId, InvoiceDateIssue)
источник

Ф

Федор in ClickHouse не тормозит
Dmitry Titov
Вставляете каким образом то? какой размер батча?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Хм, а где же тут партиционирование? Складывается ощущение, что на каждый инсерт одна партиция создается. Можешь глянуть, сколько файлов лежит в папке базы данных на данный момент?
источник

Ф

Федор in ClickHouse не тормозит
пачка нужна по 100к примерно, но сейчас 2к уже слишком долго
источник

DT

Dmitry Titov in ClickHouse не тормозит
Yuri Velgosha
Хм, а где же тут партиционирование? Складывается ощущение, что на каждый инсерт одна партиция создается. Можешь глянуть, сколько файлов лежит в папке базы данных на данный момент?
если партиционирования нет, то это значит партиция одна
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
ни ключей ни индексов ни партиц. По идее должно быть быстро. Что насчет сетки? Добавили ли компрессию при передаче?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
и show processlist именно показывает долгий insert?
источник

Ф

Федор in ClickHouse не тормозит
Yuri Velgosha
Хм, а где же тут партиционирование? Складывается ощущение, что на каждый инсерт одна партиция создается. Можешь глянуть, сколько файлов лежит в папке базы данных на данный момент?
доспута сейчас к железке на которой крутится кликхаус нет. Попросил админов о доступе
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
и инсертит один товарищ?
источник

Ф

Федор in ClickHouse не тормозит
да
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
select * from system.parts
источник

Ф

Федор in ClickHouse не тормозит
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
нене ))
вот как-то так select * from system.parts where table='ччччч' and active>0;
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
навашем скрине партиции по YYYYMMDD вроде как
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
select * from system.parts where table='CHContr' and active>0;
источник

Ф

Федор in ClickHouse не тормозит
Вячеслав Владимиров
навашем скрине партиции по YYYYMMDD вроде как
да это я только что добавил таблицу с партициями по PARTITION BY toYYYYMM(InvoiceDateIssue)
источник

Ф

Федор in ClickHouse не тормозит
но ничего не изменилось
источник

Ф

Федор in ClickHouse не тормозит
по времени вставки
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
да, тогда вопрос про партиц отпал
источник