Size: a a a

ClickHouse не тормозит

2020 August 06

G

Grigory in ClickHouse не тормозит
Здравия!
Валится ошибка
<Warning> StorageKafka (queue): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

Сообщения в кафке есть, прочитать их с помощью Conductor могу
Что проверить имеет смысл?
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
@den_crane, подскажи плиз. Получаю такую ошибку в логах КХ:
ZooKeeper error: Code: 999, e.displayText() = Coordination::Exception: Transaction failed (No node): Op #0, path: /clickhouse/task_queue/ddl/query-0000000002/active/localhost:9000

Я правильно понимаю что это из-за того что не настроен interserver_http_host?ну или хостнейм смотреть надо. я пытаюсь создать бд с ON CLUSTER
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Grigory
Здравия!
Валится ошибка
<Warning> StorageKafka (queue): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.

Сообщения в кафке есть, прочитать их с помощью Conductor могу
Что проверить имеет смысл?
Сколько консюмеров у Вас в кликхаузе читает из таблицы и сколько партиций в самой кафке?
источник

G

Grigory in ClickHouse не тормозит
Vladyslav Sakun
Сколько консюмеров у Вас в кликхаузе читает из таблицы и сколько партиций в самой кафке?
В кафке 3 партишена(сообщения есть во всех трёх), в кластере кликхауса 3 хоста
И варнинг такой валится на всех 3 хостах кликхауса
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Grigory
В кафке 3 партишена(сообщения есть во всех трёх), в кластере кликхауса 3 хоста
И варнинг такой валится на всех 3 хостах кликхауса
И kafka_group_name на всех нодах кластера у таблицы одинаковая?
источник

G

Grigory in ClickHouse не тормозит
Vladyslav Sakun
И kafka_group_name на всех нодах кластера у таблицы одинаковая?
Да, по идее.
Я таблицу ON CLUSTER создавал
Сейчас придумаю, как достоверно проверить
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Какой у Вас кластер?
1 шард 3 реплики?
источник

G

Grigory in ClickHouse не тормозит
Vladyslav Sakun
Какой у Вас кластер?
1 шард 3 реплики?
да, один шард, три реплики
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Grigory
да, один шард, три реплики
На каждой реплике, я так понимаю, у Вас есть MV, которые пишет в ReplicatedMergeTree таблицу на своей реплике?
источник

G

Grigory in ClickHouse не тормозит
Vladyslav Sakun
На каждой реплике, я так понимаю, у Вас есть MV, которые пишет в ReplicatedMergeTree таблицу на своей реплике?
Да, всё так

Ещё важное замечание - у меня есть такой же набор таблиц на managed clickhouse в Яндекс.Облако
Сейчас я перетаскиваю эту схему в другое облако

Настройки кафки в облаках также идентичны (за исключением того, что в ЯО три хоста кафки, а в другом облаке - два хоста. Но количество партишенов одинаковое)
источник

AS

Aleh Sauko in ClickHouse не тормозит
все привет!
после апдейта с версии 19.17.6.36 на версию 20.3.10.75 иногда (те иногда норм проходят, иногда падают) стали падать ошибки когда обращаюсь за данными через mysql(..), может кто-нибудь сталкивался, знает в чем причина?


c909828dc32e :) SELECT *
:-] FROM mysql(..') limit 10

SELECT *
FROM mysql('..', '..', '..', '..', '..')
LIMIT 10


Received exception from server (version 20.3.10):
Code: 1000. DB::Exception: Received from localhost:9000. DB::Exception: mysqlxx::ConnectionFailed: Unknown SSL error ((nullptr):3306).

0 rows in set. Elapsed: 0.893 sec.
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Maxim Kniazkov
Здравствйте! Вопрос такой - как соотносится, примерно, объем данных, который в клик пишем, и то, что там хранится в итоге на диске?
Не подскажите?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Kniazkov
Не подскажите?
я взял файлик bbb.x и зажал архиватором 7zip , как соотносится, примерно, объем данных bbb.x и bbb.x.7zip ?
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я взял файлик bbb.x и зажал архиватором 7zip , как соотносится, примерно, объем данных bbb.x и bbb.x.7zip ?
42x compression
источник

MK

Maxim Kniazkov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я взял файлик bbb.x и зажал архиватором 7zip , как соотносится, примерно, объем данных bbb.x и bbb.x.7zip ?
Те один к одному * на k сжатия?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Maxim Kniazkov
Те один к одному * на k сжатия?
иногда в 100 раз сжимается, иногда в 2.

И можно разные компрессоры и кодеки использовать, lz4 zstd, delta, и т.д.
источник

D

Dj in ClickHouse не тормозит
Maxim Kniazkov
Те один к одному * на k сжатия?
там блоки сжатия по 65к строк (может менятся) поколоночно, ессно зависит от порядка, кодеков, компрессии. пока не проверите - не поймете
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ovseiko
Здравствуйте,

Запрос:
SELECT
   year,
   month,
   day,
   COUNT() * any(_sample_factor) AS data
FROM events
SAMPLE 10000
WHERE (event_time > 1594109197) AND (project_id = 171) AND (year IN (20)) AND (month IN (7, 8)) AND (event_name = 'view')
GROUP BY
   year,
   month,
   day

Получаю ошибку:
Code: 49. DB::Exception: Received from localhost:9000. DB::Exception: RangeReader read 13084 rows, but 13198 expected.

В чем может быть ошибка?

ClickHouse server version 20.1.4.14
обновляться до 20.1.16.120
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Yuri
Гуру, подскажите пожалуйста по проблеме,
есть кластер (v20.4.4, 2 шарда по 2 реплики), 3 ноды из 4х постоянно спамят ошибки по несколько раз в секунду:
<Error> executeQuery: Code: 252, e.displayText() = DB::Exception: Too many partitions for single INSERT block (more than 100).

одна из нод (реплика ноды с которой все ок) спамит дополнительно :
<Error> default.snapshot.DirectoryMonitor: Code: 252, e.displayText() = DB::Exception: Received from xxxx:9000. DB::Exception: Too many partitions for single INSERT block (more than 100)

Причем спамит и в такое время, в которое в КХ никто не пишет. Такое ощущение что репликация какая-то залипла.. но replication_queue пустая на всех нодах. Куда еще можно посмотреть?
distrbuted таблица для инсертов используется? ну она пытается асинхронно вставить и не может
источник

Y

Yuri in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
distrbuted таблица для инсертов используется? ну она пытается асинхронно вставить и не может
да, используется
источник