В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу
2020 September 16

AS

Anthony Shchukin in ClickHouse не тормозит
Alexey Churkin
Я какое-то время назад смотрел в исходники kafkaengine - там на ура могут возникать дубликаты. Данные пишутся в clickhouse, а после этого клиент пробует закомитить оффсет. Пробует он сделать это максимум 3 раза, если мне не изменяет память.
вот именно.
есть ли какой-нибудь експ по разрешению таких ситуаций?
источник
22:54пожаловаться#1

ПИ

Перец Из адлера... in ClickHouse не тормозит
Перец Из адлера
Если я прийду на рынок и найду спеца, он предложит то что ему удобно, а не то что потребуется в будущем.
Да и не люблю полагаться на одного человека в ключевых решениях.
источник
22:55пожаловаться#2

AC

Alexey Churkin in ClickHouse не тормозит
Anthony Shchukin
вот именно.
есть ли какой-нибудь експ по разрешению таких ситуаций?
Ну мы написали отдельный сервис, который пишет в Replicated* таблицы идемпотентными вставками.

Clickhouse для replicated таблиц делает deduplication последних N вставок при условии, что их контент и порядок данных совпадают.
источник
22:56пожаловаться#3

AS

Anthony Shchukin in ClickHouse не тормозит
Alexey Churkin
Ну мы написали отдельный сервис, который пишет в Replicated* таблицы идемпотентными вставками.

Clickhouse для replicated таблиц делает deduplication последних N вставок при условии, что их контент и порядок данных совпадают.
replicated? может быть replacing?
источник
22:56пожаловаться#4

AS

Anthony Shchukin in ClickHouse не тормозит
после обнаружения проблемы, отключили проблемный код и мувнули проблемные партиции в дублирующую таблицу
источник
22:58пожаловаться#5

AC

Alexey Churkin in ClickHouse не тормозит
Anthony Shchukin
replicated? может быть replacing?
Нет, именно replicated
источник
22:58пожаловаться#6

AC

Alexey Churkin in ClickHouse не тормозит
Anthony Shchukin
replicated? может быть replacing?
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replication/
clickhouse.tech
Репликация данных | Документация ClickHouse
Репликация данных Репликация поддерживается только для таблиц семейства MergeTree: ReplicatedMergeTree ReplicatedSumming
источник
22:58пожаловаться#7

AS

Anthony Shchukin in ClickHouse не тормозит
Anthony Shchukin
после обнаружения проблемы, отключили проблемный код и мувнули проблемные партиции в дублирующую таблицу
в качестве эксперимента попробу удалить дубли с помощью replacing и разных запросов
источник
22:59пожаловаться#8

AS

Anthony Shchukin in ClickHouse не тормозит
Alexey Churkin
Нет, именно replicated
kafka-key тоже пишется, replicated дал подобного эффекта
источник
23:00пожаловаться#9

AC

Alexey Churkin in ClickHouse не тормозит
Anthony Shchukin
kafka-key тоже пишется, replicated дал подобного эффекта
Ну с replacingmergetree вы вынуждены будете либо следить за дубликатами, делать optimize final, либо переписывать все select-ы
источник
23:01пожаловаться#10

AS

Anthony Shchukin in ClickHouse не тормозит
Alexey Churkin
Ну с replacingmergetree вы вынуждены будете либо следить за дубликатами, делать optimize final, либо переписывать все select-ы
по поводу последнего утверждения доп вопрос: как можно оптимизировать селекты под дюпы?
источник
23:03пожаловаться#11

AC

Alexey Churkin in ClickHouse не тормозит
Anthony Shchukin
по поводу последнего утверждения доп вопрос: как можно оптимизировать селекты под дюпы?
Все зависит от вашего профиля нагрузки. Может быть вам и FINAL в селектах подойдет, а может и GROUP BY придется делать в подзапросе.
источник
23:04пожаловаться#12

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anthony Shchukin
всем привет
кто-нибудь пользуется kafka-engine, сталкивались с разными проблемами, которые приводили к дупликации данных?
конечно, это же кафка. Там без дубликатов нельзя.
источник
23:20пожаловаться#13

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
"Не бейте его, учредитель это не фамилия... "

Тут за это не стреляют. У вас есть програмисты? Спросите у них что им удобно
Миловидов: представьте что вы менедежер, вы не пишете код, бывает, стыдится этого не надо.
источник
23:21пожаловаться#14

AS

Anthony Shchukin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
конечно, это же кафка. Там без дубликатов нельзя.
Хехехе :)
А можно попросить более развёрнуто?
источник
23:23пожаловаться#15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anthony Shchukin
Хехехе :)
А можно попросить более развёрнуто?
ну в кафке очень тяжело сделать без дубликатов, даже если использовать exactly once -- это не имеет отношения к КХ, это вообще
источник
23:24пожаловаться#16

D

Dj in ClickHouse не тормозит
Перец Из адлера
Да и не люблю полагаться на одного человека в ключевых решениях.
и поэтому вы решили спросить холиварщиков и тунеядцев из чатика, для которых все что меньше миллиарда строк это "не тема"? =)
вам будет сложно растить бизнес не имея человека которому вы доверяете техническую часть. заимейте хотя бы консультанта...
источник
23:26пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
представьте что вы читаете из файла 10 строк и пишете в кафку с транзакцией, по концу вы файл удяляете и говорите в кафку комит.
источник
23:26пожаловаться#18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
и в какой-то момент вам кафка на комит говорит таймаут. И тут вы не знаете а на самом деле закомитилось или нет?
источник
23:26пожаловаться#19

AS

Anthony Shchukin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
и в какой-то момент вам кафка на комит говорит таймаут. И тут вы не знаете а на самом деле закомитилось или нет?
внутренний стейт в енджине и ретраи не помогут уменьшить шанс данной проблемы?
источник
23:28пожаловаться#20