DG
ну и Distributed при ошибке повторяет insert до успеха, т.е. до бесконечности, и таким образом я видел как пользователи умудряются наплодить бесконечное кол-во дубликатов. Ну и трата CPU тоже.
Разумно. Что ж, пойду сделаю КТ ¯\_(ツ)_/¯
Size: a a a
2020 September 28
G
вопрос. можно ли заставить таблицу-кафка писать на шард и реплику одинаковые данные из одной партиции кафка? что бы не было как сейчас пишем в шард и реплику а потом данные синзронизируются между двух серверов.
G
например, из партиции кафка 0 пишем в шарди реплику 0-0 0-1. из партции 1 пишем в 1-0 и 1-1. при таком варианте записи не страшен падение узла, его можно спокойно душить и автоматом заливать из реплики
G
тогда не будет ситуации потери данных, по причине отставания синхронизации (при аварии). сейчас из парции кафка 0 пишем в 0-0, из партиции 1 пишем в 0-1, из 2 в 1-0 из 3 в 1-1 и все реплицируется фоном
DC
Gleb
например, из партиции кафка 0 пишем в шарди реплику 0-0 0-1. из партции 1 пишем в 1-0 и 1-1. при таком варианте записи не страшен падение узла, его можно спокойно душить и автоматом заливать из реплики
ну задумано оно как-то так.
DC
что вы хотите неясно
G
на одном шарде писать данные из одного набора партиций, например на шард1 пишем 0-4, в реплику 1 и реплику2
на шард2 5-9. в реплику 1 и в реплику2
на шард2 5-9. в реплику 1 и в реплику2
G
те если один из узлов упадет то у меня идет процесс далее и ничего не потеряю
DC
Gleb
на одном шарде писать данные из одного набора партиций, например на шард1 пишем 0-4, в реплику 1 и реплику2
на шард2 5-9. в реплику 1 и в реплику2
на шард2 5-9. в реплику 1 и в реплику2
типа управлять назначением партиций из КХ? КХ такого не умеет. И надо координатор какой-то где-то иметь который партиции будет назначать.
G
хорошо бы так
G
посмотрим в исходниках как сейчас работат этот модуль
DC
противоречие с КХ, у КХ все узлы равны и все не знаю друг про друга.
G
а ждать подтверждения записи на диск для кафка-таблицы не возможно?
2020 September 29
G
если интервал записи порции сделать секунд 5-10
G
доброй ночи
DC
Gleb
если интервал записи порции сделать секунд 5-10
кафка таблица вообще тут ни при чем. Она пишет в MV, MV кладет видимо в ReplicatedMergeTree у вас.
ReplicatedMergeTree пишет в кеш линукса. В ядре Линукс можно подкрутить максимальное время которое грязные страницы хранятся ТОЛЬКО в памяти.
ReplicatedMergeTree пишет в кеш линукса. В ядре Линукс можно подкрутить максимальное время которое грязные страницы хранятся ТОЛЬКО в памяти.
G
Верно, верно.
Ожидал подход по отказоустойчивостки как в hdfs
Ожидал подход по отказоустойчивостки как в hdfs
G
Видимо надо писать отдельно на диски входящий поток и после сбоя частично восстанавливать из него данные
G
Точнее из Кафки перечитывать
G
Подумаю сегодня об этом