В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу
2020 September 18

D

Dj in ClickHouse не тормозит
Denis Efarov
и к делиту нет вопроса. Но без делита этот кейс решается другим образом. А с делитом - возможен вечный dedup
хм, как будет вечный дедуп? дедуп ориентируется вообще только на хеш блоков в зк. можете подробней описать?
т.е. мутация это ДДЛ, который будет реплицирован как задание по другим репликам
источник
19:18пожаловаться#1

DC

Denny Crane [not a Y... in ClickHouse не тормозит
самоцитата

Мутации сделаны для решения вопросов типа gdpr. Раз в году  темной ночью админ вручную запускает и ждет результата скрестив пальцы, и начинает чинить когда они не завершились.
источник
19:18пожаловаться#2

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Во вторых к проблеме это вообще не имеет отношения.
источник
19:19пожаловаться#3

DE

Denis Efarov in ClickHouse не тормозит
документация этого не говорит. Напротив, она говорит, что можно удалять, и это безопасно для дальнейших вставок
источник
19:19пожаловаться#4

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Denis Efarov
документация этого не говорит. Напротив, она говорит, что можно удалять, и это безопасно для дальнейших вставок
и то что  delete не чистит блоки дедупликации, это тоже в доке написано?
источник
19:20пожаловаться#5

DE

Denis Efarov in ClickHouse не тормозит
Dj
хм, как будет вечный дедуп? дедуп ориентируется вообще только на хеш блоков в зк. можете подробней описать?
т.е. мутация это ДДЛ, который будет реплицирован как задание по другим репликам
я описал это в кейсе, как может быть вечный дедап. Вставляете пачку данных, она бьется (неизбежно) на блоки, один блок случайно не вставляется, например из-за сетевых проблем, а все предыдущие попадают в историю дедупликации. После этого повторная вставка той же большой пачки никогда целиком не пройдет
источник
19:21пожаловаться#6

DE

Denis Efarov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
и то что  delete не чистит блоки дедупликации, это тоже в доке написано?
я нигде не говорил, что мы это ожидали. Для кейса это не нужно
источник
19:21пожаловаться#7

D

Dj in ClickHouse не тормозит
Denis Efarov
я описал это в кейсе, как может быть вечный дедап. Вставляете пачку данных, она бьется (неизбежно) на блоки, один блок случайно не вставляется, например из-за сетевых проблем, а все предыдущие попадают в историю дедупликации. После этого повторная вставка той же большой пачки никогда целиком не пройдет
причем тут delete?
источник
19:21пожаловаться#8

SM

Sergey Mikhalev in ClickHouse не тормозит
Dj
причем тут delete?
Эй, парни, вы там напишите как хотите, баг главное закройте.
источник
19:22пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
вот и я говорю при чем тут delete , если все воспроизводится без него
источник
19:22пожаловаться#10

S

Slach in ClickHouse не тормозит
Denis Efarov
аналогия неуместна. Документация декларирует, что есть функционал по удалению строк. С чего вдруг он неуместен для бизнес процессов?
потому что в той же документации сказано ЧТО ИМЕННО это за удаление и как именно оно работает
источник
19:22пожаловаться#11

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sergey Mikhalev
Эй, парни, вы там напишите как хотите, баг главное закройте.
чудак человек, я дба в канаде, DJ в дба турции
источник
19:23пожаловаться#12

DC

Denny Crane [not a Y... in ClickHouse не тормозит
тут нет разработчиков
источник
19:23пожаловаться#13

DE

Denis Efarov in ClickHouse не тормозит
вы сами подняли речь про delete, заметив его в тикете. Я лишь пояснил, зачем он указан в кейсе. И что для воспроизведения delete не важен
источник
19:23пожаловаться#14

DE

Denis Efarov in ClickHouse не тормозит
Slach
потому что в той же документации сказано ЧТО ИМЕННО это за удаление и как именно оно работает
и ничего из того описания никак не поясняет, почему это непригодно для бизнес процессов. Там лишь указаны детали реализации
источник
19:23пожаловаться#15

DE

Denis Efarov in ClickHouse не тормозит
к delete-нет вопроса
источник
19:24пожаловаться#16

S

Slach in ClickHouse не тормозит
Denis Efarov
и ничего из того описания никак не поясняет, почему это непригодно для бизнес процессов. Там лишь указаны детали реализации
а форвардните если не трудно исходное сообщение или тикет? ;)
что у вас именно происходит
а то я не пойму
то вы несколько 1М блоков вставляете и хотите чтобы вам что-то дедуплицировали
то мутации откуда то сбоку выскакивают ;)
источник
19:27пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slach
а форвардните если не трудно исходное сообщение или тикет? ;)
что у вас именно происходит
а то я не пойму
то вы несколько 1М блоков вставляете и хотите чтобы вам что-то дедуплицировали
то мутации откуда то сбоку выскакивают ;)
https://github.com/ClickHouse/ClickHouse/issues/14999

replicated_deduplication_window_seconds -- работает неочевидно и не совсем так как я описал в доке.
Сам тикет не читайте, только мой STR.
GitHub
replicated_deduplication_window_seconds is ignored in some cases · Issue #14999 · ClickHouse/ClickHouse
Setting replicated_deduplication_window_seconds for a ReplicatedMergeTree table does not actually mean deduplication will be disabled for all blocks older than replicated_deduplication_window_secon...
источник
19:30пожаловаться#18

AS

Anthony Shchukin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
https://github.com/ClickHouse/ClickHouse/issues/14999

replicated_deduplication_window_seconds -- работает неочевидно и не совсем так как я описал в доке.
Сам тикет не читайте, только мой STR.
GitHub
replicated_deduplication_window_seconds is ignored in some cases · Issue #14999 · ClickHouse/ClickHouse
Setting replicated_deduplication_window_seconds for a ReplicatedMergeTree table does not actually mean deduplication will be disabled for all blocks older than replicated_deduplication_window_secon...
у, какая прелесть
источник
19:31пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Anthony Shchukin
у, какая прелесть
это на самом деле минорная проблема , которую никто никогда не будет чинить, скорее всего я разберусь со временем с дизайном и опишу это в доке (по сути это не баг, это просто особенности реализации UB)

имхо: с точки зрения меня, дебилоида дровосека и жопы канады
источник
19:33пожаловаться#20