Size: a a a

ClickHouse не тормозит

2020 July 07

AL

Aleksey Laptev in ClickHouse не тормозит
Если запрос потом вызывать - все ок
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
Vladimir Bunchuk
сейчас более детально опишу пример
есть кластер из 2 шардов, на каждом по 2 реплики
на каждой ноде есть таблица  “events_shard” (ReplicatedMergeTree) и “events” (Distributed)
В кафке есть топик с названием “events”.
Из этого топика нужно записывать данные в БД.

для этого я создал табличку “events_kafka” (Kafka)
на него хочу повесить матвью

Хочу понять нужно ли это матвью делать на каждой ноде и куда лучше писать, в Distributed таблицу, либо в ReplicatedMergeTree таблицу.

Боюсь задублировать либо недозаписать данные.
кафка на 1й ноде, матвью пишет в дистрибьютед
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ян Калмычков
кафка на 1й ноде, матвью пишет в дистрибьютед
А если нода упадёт?
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
Vladimir Bunchuk
А если нода упадёт?
вопрос хороший, но если нода упадет, то вас и дистрибьютед не спасает
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ян Калмычков
вопрос хороший, но если нода упадет, то вас и дистрибьютед не спасает
Так есть же реплика ещё. Дистрибутед разве в неё не сходит если одна нода выйдет из строя?
источник

D

Dj in ClickHouse не тормозит
Aleksey Laptev
это и есть php клиент
имелось ввиду, в clickhouse-client тоже отваливается?
источник

AL

Aleksey Laptev in ClickHouse не тормозит
нет, там сходу не поймаешь, отваливается 5% запросов
источник

l

lnuynxa in ClickHouse не тормозит
Vladimir Bunchuk
сейчас более детально опишу пример
есть кластер из 2 шардов, на каждом по 2 реплики
на каждой ноде есть таблица  “events_shard” (ReplicatedMergeTree) и “events” (Distributed)
В кафке есть топик с названием “events”.
Из этого топика нужно записывать данные в БД.

для этого я создал табличку “events_kafka” (Kafka)
на него хочу повесить матвью

Хочу понять нужно ли это матвью делать на каждой ноде и куда лучше писать, в Distributed таблицу, либо в ReplicatedMergeTree таблицу.

Боюсь задублировать либо недозаписать данные.
а в этом топике в перемешку лежать данные для обоих шардов?

Я бы сделал 4 MV которые пишут каждый в свою MV таблицу, вроде кафка такое позволяет с своими группами и тд
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
lnuynxa
а в этом топике в перемешку лежать данные для обоих шардов?

Я бы сделал 4 MV которые пишут каждый в свою MV таблицу, вроде кафка такое позволяет с своими группами и тд
я так понял у коллеги вопрос по отказоустойчивости а не по распределению данных по шардам
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Да, данные вперемешку в одном топике лежат.
Хотелось бы и отказоустойчивость обеспечить , и целостность данных, без дублей и пробелов
источник

l

lnuynxa in ClickHouse не тормозит
на самом деле минимальный шанс дублей в кафке будет и с 1 слушающей таблицей, емнип
источник

l

lnuynxa in ClickHouse не тормозит
а как данные по шардам собираешься раскидывать?
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
lnuynxa
на самом деле минимальный шанс дублей в кафке будет и с 1 слушающей таблицей, емнип
дублей быть не должно, читаться не будет, если нода упадет)
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
lnuynxa
а как данные по шардам собираешься раскидывать?
ну на это как раз матвью должна писать в дистрибьютед
источник

l

lnuynxa in ClickHouse не тормозит
Ян Калмычков
дублей быть не должно, читаться не будет, если нода упадет)
Это если код написан идеальный, в случае с интеграцией клика с кафкой это несовсем так, но его постепенно фиксят :)
источник

ЯК

Ян Калмычков... in ClickHouse не тормозит
lnuynxa
Это если код написан идеальный, в случае с интеграцией клика с кафкой это несовсем так, но его постепенно фиксят :)
:)
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
🙂
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
на самом деле мы уже пишем из кафки
но с использованием clickhouse-sinker
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
который пишет в distributed таблицу на одной ноде
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
и изредка замечаем небольшие провалы по данным
источник