В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу
2021 January 29

L

Lamobot in ClickHouse не тормозит
Alexander
да, я всё это знаю, однако объяснение это не помогает найти.

Если он false, то distributed должен сам разнести по репликам? если так, то каждая реплика должна ещё внутрее реплици .... кажется ответ понятен: internal_replication = false отключает внутреннюю репликацию => поведение будет одинаковое по сути, только через разные механизмы (какой из них лучше не важно)
Он не относится к distributed никак! Репликация и distributed таблицы это разные механизмы!!!
источник
22:59пожаловаться#1

A

Alexander in ClickHouse не тормозит
ошибка, что я думал, что internal_replication влияет на distributed только, но он влияется и на поведение реплицируемых таблиц видимо (по сути отключает)
источник
22:59пожаловаться#2

L

Lamobot in ClickHouse не тормозит
Alexander
ошибка, что я думал, что internal_replication влияет на distributed только, но он влияется и на поведение реплицируемых таблиц видимо (по сути отключает)
Distributed - это просто таблица, вы залили туда данные, КХ их по шардам разбросал.
источник
23:00пожаловаться#3

A

Alexander in ClickHouse не тормозит
Lamobot
Он не относится к distributed никак! Репликация и distributed таблицы это разные механизмы!!!
я понимаю что технически это разные механизмы, однако, когда в CH ещё не было RMT, то для этого использовали distributed (т.е. некая такая ручная репликация) - разве не так?
источник
23:00пожаловаться#4

A

Alexander in ClickHouse не тормозит
Lamobot
Distributed - это просто таблица, вы залили туда данные, КХ их по шардам разбросал.
по шардам И репликам?
источник
23:01пожаловаться#5

L

Lamobot in ClickHouse не тормозит
Alexander
по шардам И репликам?
Если стоит internal_replication=true, то она закинет в шард на одну из реплик, дальше вторая реплика заберёт данные, когда прочитает с ЗК таск. Вроде так это происходит.
источник
23:03пожаловаться#6

A

Alexander in ClickHouse не тормозит
Lamobot
Если стоит internal_replication=true, то она закинет в шард на одну из реплик, дальше вторая реплика заберёт данные, когда прочитает с ЗК таск. Вроде так это происходит.
да, именно, у меня точно такое же представление. однако если стоит false, то он закинет на все реплики. Но что произойдёт после этого? будут ли реплики продолжать репликацию друг на друга? т.е. реагируют ли он на этот internal_replication тоже?
источник
23:05пожаловаться#7

L

Lamobot in ClickHouse не тормозит
Alexander
да, именно, у меня точно такое же представление. однако если стоит false, то он закинет на все реплики. Но что произойдёт после этого? будут ли реплики продолжать репликацию друг на друга? т.е. реагируют ли он на этот internal_replication тоже?
Если стоит false, то реплики не занимаются репликацией, этим занимаются клиенты. Не уверен насчёт distributed, скорее всего он также закидывает на обе сам.
источник
23:06пожаловаться#8

A

Alexander in ClickHouse не тормозит
Lamobot
Если стоит false, то реплики не занимаются репликацией, этим занимаются клиенты. Не уверен насчёт distributed, скорее всего он также закидывает на обе сам.
просто раньше, как только появился RMT то был вариант не делать RMT, а иметь просто MT, и тогда понятно что он не будет реплицировать (так как не умеет), однако не очень очевидно, что есть возможность у RMT отключить функционал репликаций поставивив internal == false
источник
23:07пожаловаться#9

A

Alexander in ClickHouse не тормозит
"Если он выставлен в false (по умолчанию), то данные будут записываться на все реплики. По сути, это означает, что Distributed таблица занимается репликацией данных самостоятельно"

т.е. влияние на distributed описано и понятно, а вот влияние на RMT не очень - может отключать, а может и не отключать, и тут вот уже появляются вопросы
источник
23:09пожаловаться#10

A

Alexander in ClickHouse не тормозит
в исходниках видно только это: https://github.com/ClickHouse/ClickHouse/blob/04e222f6f38acb0d9395751aeb8c5096fb484f0a/src/Interpreters/Cluster.cpp#L387

которое _кажется_ влияет только на distributed
источник
23:14пожаловаться#11

L

Lamobot in ClickHouse не тормозит
Alexander
в исходниках видно только это: https://github.com/ClickHouse/ClickHouse/blob/04e222f6f38acb0d9395751aeb8c5096fb484f0a/src/Interpreters/Cluster.cpp#L387

которое _кажется_ влияет только на distributed
Судя по доке влияет только на distributed - да.
источник
23:17пожаловаться#12

A

Alexander in ClickHouse не тормозит
тогда возникает вопрос - если оно false - должно происходить дублирование данных? но этого почему-то не происходит у меня в тесте. false => как бы делается два insert на разные части реплики, но может быть какой-то механизм защиты от этого присутствует, но с ходу не очень понятно
источник
23:18пожаловаться#13

SC

Smoked Cheese in ClickHouse не тормозит
В RMT есть встроенная дедупликация данных при вставке
источник
23:19пожаловаться#14

A

Alexander in ClickHouse не тормозит
Smoked Cheese
В RMT есть встроенная дедупликация данных при вставке
ага, спасибо, но как оно работает в данном случае (из distributed)? т.е. вероятно можно понять по какому-то query_id что это дубликат, или же он какой-то более универсальный и работает и без distributed?
источник
23:21пожаловаться#15

SC

Smoked Cheese in ClickHouse не тормозит
Alexander
ага, спасибо, но как оно работает в данном случае (из distributed)? т.е. вероятно можно понять по какому-то query_id что это дубликат, или же он какой-то более универсальный и работает и без distributed?
Одинаковые данные создадут одинаковый блок с одинаковым хешем
источник
23:22пожаловаться#16

SC

Smoked Cheese in ClickHouse не тормозит
Хешики в зукипере хранятся
источник
23:22пожаловаться#17

A

Alexander in ClickHouse не тормозит
Smoked Cheese
Одинаковые данные создадут одинаковый блок с одинаковым хешем
у меня остался вопрос по тому что именно включают в себя данные. потому как, например, если только значения вставки - так никто не может запретить дубликаты вставлять. а если какую-то мета-информацию, то это объясняет
источник
23:24пожаловаться#18

SC

Smoked Cheese in ClickHouse не тормозит
Alexander
у меня остался вопрос по тому что именно включают в себя данные. потому как, например, если только значения вставки - так никто не может запретить дубликаты вставлять. а если какую-то мета-информацию, то это объясняет
Только сами данные
источник
23:24пожаловаться#19

SC

Smoked Cheese in ClickHouse не тормозит
Если ты делаешь постоянно одинаковые инсерты, то этот механизм для тебя работать не будет
источник
23:25пожаловаться#20