В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3930 membersпожаловаться на группу
2020 May 26

ЕА

Егор Андреевич... in ClickHouse не тормозит
Подскажите по поводу вставки данных, по документации рекомендуется вставлять данные не чаще 1 раза в секунду, имеется ввиду на одну таблицу или в целом на ноду? И почему далее приводится рекомендация вставлять параллельно учитывая рекомендацию в 1 раз в секунду? Есть ли какие-нибудь готовые нормальные буфер-сервисы для реализации вставки чтобы обеспечить максимальную производительность?
источник
18:07пожаловаться#1

l

lnuynxa in ClickHouse не тормозит
Егор Андреевич
Подскажите по поводу вставки данных, по документации рекомендуется вставлять данные не чаще 1 раза в секунду, имеется ввиду на одну таблицу или в целом на ноду? И почему далее приводится рекомендация вставлять параллельно учитывая рекомендацию в 1 раз в секунду? Есть ли какие-нибудь готовые нормальные буфер-сервисы для реализации вставки чтобы обеспечить максимальную производительность?
kafka, kittenhouse,clickhouse-bulk, buffer table engine
источник
18:08пожаловаться#2

l

lnuynxa in ClickHouse не тормозит
речь идет об одной таблице
источник
18:08пожаловаться#3

ЕА

Егор Андреевич... in ClickHouse не тормозит
спасибо, а есть информация как расходуется память при инсертах?
источник
18:10пожаловаться#4

l

lnuynxa in ClickHouse не тормозит
Егор Андреевич
спасибо, а есть информация как расходуется память при инсертах?
ну, я с проблемами с памятью не сталкивался при инсертах.
источник
18:12пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
Егор Андреевич
спасибо, а есть информация как расходуется память при инсертах?
2 мегабайта на колонку
источник
18:12пожаловаться#6

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
2 мегабайта на колонку
то есть условно говоря если вставляем в таблицу с 50 колонками, то каждый инсерт независимо от количества строк будет обходиться в 100 мб?
источник
18:13пожаловаться#7

DC

Denny Crane (I don't... in ClickHouse не тормозит
Егор Андреевич
то есть условно говоря если вставляем в таблицу с 50 колонками, то каждый инсерт независимо от количества строк будет обходиться в 100 мб?
да, дальше идет создание парта, и там кусками по min_insert_block_size_bytes = 256 MB парты создаются
источник
18:16пожаловаться#8

DC

Denny Crane (I don't... in ClickHouse не тормозит
т.е. на каждую колонку создаются буферы по 2МБ + 256MB
источник
18:16пожаловаться#9

DC

Denny Crane (I don't... in ClickHouse не тормозит
но это все можно настраивать
источник
18:17пожаловаться#10

ЕА

Егор Андреевич... in ClickHouse не тормозит
а память, используемая буферами, блокируется? то есть если у меня на сервере всего 258 мб оперативной памяти и я постоянно вставляю в таблицу с одной колонкой, то при попытке чтения я буду ловить ошибки, мол памяти нет?
источник
18:18пожаловаться#11

DC

Denny Crane (I don't... in ClickHouse не тормозит
Егор Андреевич
а память, используемая буферами, блокируется? то есть если у меня на сервере всего 258 мб оперативной памяти и я постоянно вставляю в таблицу с одной колонкой, то при попытке чтения я буду ловить ошибки, мол памяти нет?
я думаю КХ просто не запустится если памяти меньше гигабайта.

>то при попытке чтения я буду ловить ошибки, мол памяти не
линукс просто убъет процесс КХ OOM-killer-м
источник
18:20пожаловаться#12

ЕА

Егор Андреевич... in ClickHouse не тормозит
ну про гигабайт я утрировал конечно
источник
18:21пожаловаться#13

ЕА

Егор Андреевич... in ClickHouse не тормозит
я просто пытаюсь понять оптимальный процесс вставки данных, чтобы при этом как можно больше памяти оставалось для селектов
источник
18:22пожаловаться#14

DC

Denny Crane (I don't... in ClickHouse не тормозит
КХ предполагает что памяти много, если ее меньше чем 32, то нужно очень хорошо разбираться в том как КХ устроен, пару лет в этом чате просидеть
источник
18:22пожаловаться#15

S

Slach in ClickHouse не тормозит
Artem Benois
в частности хочу перенести тикетную систему саппорта проекта под clickhouse
зачем? чем вас MySQL для этой задачи не устраивает?
источник
18:23пожаловаться#16

AB

Artem Benois in ClickHouse не тормозит
тем что нужно две базы поддерживать
источник
18:24пожаловаться#17

DT

Dmitry Titov in ClickHouse не тормозит
Artem Benois
тем что нужно две базы поддерживать
две базы это еще не так плохо)
источник
18:24пожаловаться#18

PL

Paul Loyd in ClickHouse не тормозит
Господа, мне кажется или была какая-то функция для работы с Array(Tuple(String, String)) (key-value поля)? Чтобы проверять, что пара по определённому ключу имеет определённое значение? Не находится что-то.
источник
18:25пожаловаться#19

S

Slach in ClickHouse не тормозит
Artem Benois
тем что нужно две базы поддерживать
эээ... ну ок, можете дальше забивать все что видите телескопом по имени ClickHouse
источник
18:25пожаловаться#20