G
Спасибо
У нас в таблицы постоянно тянем данные из Кафка
Сообщений много, 100тыс в сек
Size: a a a
2020 September 06
G
G
И сейчас наблюдаю спад считывания. И большую нагрузку на диск
G
Сейчас копаем как Реже писать на диск из Кафка
l
У вас какая версия?
l
Там дефолтные лимиты на кол во читаемых за раз сообщений низкие
l
Покажите SHOW CREATE TABLE для Кафки, ту часть где сеттингс
G
G
Сек
G
CREATE TABLE data.source_event ON CLUSTER clustername AS data.event
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
G
20 узлов
G
Опций дополнительных нет
l
Gleb
CREATE TABLE data.source_event ON CLUSTER clustername AS data.event
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
ENGINE = Kafka('kafka-bootstrap:9092', 'event', 'event-group', 'RowBinary');
Окей,
Судя по всему в вашей версии уже должна была быть поправлена kafka_max_block_size
https://github.com/ClickHouse/ClickHouse/pull/11388
Судя по всему в вашей версии уже должна была быть поправлена kafka_max_block_size
https://github.com/ClickHouse/ClickHouse/pull/11388
l
У вас сколько различных kafka таблиц которые тянут из одного топика есть? на каждом шарде?
G
Одна
G
На всех
G
Топик один
В
https://github.com/olevole/fbsd-ports/tree/master/databases/clickhouse/files
вот эти патчи по идее должны вставать, попробуй положить в databases/clickhouse (ну или мою репу счекауть: git clone https://github.com/olevole/fbsd-ports.git ) и пересобрать. Если ок - волью в порты, пока в апстриме не поправят.
вот эти патчи по идее должны вставать, попробуй положить в databases/clickhouse (ну или мою репу счекауть: git clone https://github.com/olevole/fbsd-ports.git ) и пересобрать. Если ок - волью в порты, пока в апстриме не поправят.
Собралось, уже работает. Ждем...
l
Просто в таких случаях, если идет вставка допустим в distributed таблицу, может иметь смысл оставить таблицы только на 2 серверах, тогда меньше будет инсертов создаваться
l
кафка таблицы куда пишут данные?