Телеграмм чат группы clickhouse

А почему это минорная проблема?

19:34пожаловаться #1

SM

Denny Crane [not a Yandex bot]

это на самом деле минорная проблема , которую никто никогда не будет чинить, скорее всего я разберусь со временем с дизайном и опишу это в доке (по сути это не баг, это просто особенности реализации UB)

имхо: с точки зрения меня, дебилоида дровосека и жопы канады

даже по вашему мнению, почему это минорная проблема?

Artem in ClickHouse не тормозит

19:34пожаловаться #2

A

Eugene Ivlev

Есть ли какая-то функция, чтоб длительность вывести в отформатированном виде? ЧЧ:ММ:СС

Если duration в секундах и всегда меньше суток, то можно так:

SELECT formatDateTime(toDateTime(0 + 12345), '%T')
FORMAT TSV

03:25:45

19:35пожаловаться #3

DC

А почему это минорная проблема?

она была всегда, более 10 лет, она ни на что не влияет, кроме описанного корнер кейс

19:35пожаловаться #4

SM

Блин, а как можно тогда вырубить эту дубликацию тогда? И поставить 10 минут и быть в этом уверенным, что это 10 минут, а знаю даже что?

19:36пожаловаться #5

DC

Блин, а как можно тогда вырубить эту дубликацию тогда? И поставить 10 минут и быть в этом уверенным, что это 10 минут, а знаю даже что?

insert_deduplicate=0

19:36пожаловаться #6

SM

Там же в мотивации этой дедупликации как раз написано что это нужно для убирания каких-то проблем с потерянными подтверждениями.

19:37пожаловаться #7

DC

Settings | Документация ClickHouse

Блин, а как можно тогда вырубить эту дубликацию тогда? И поставить 10 минут и быть в этом уверенным, что это 10 минут, а знаю даже что?

хотите настоящую расчлененку ?

https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-deduplicate-blocks-in-dependent-materialized-views

clickhouse.tech

Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с

19:37пожаловаться #8

DC

(документировал тоже я, мог наврать)

19:37пожаловаться #9

SM

Denny Crane [not a Yandex bot]

хотите настоящую расчлененку ?

https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-deduplicate-blocks-in-dependent-materialized-views

clickhouse.tech

Settings | Документация ClickHouse

Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с

Да, это тоже какая-то херня.

19:38пожаловаться #10

DC

Там же в мотивации этой дедупликации как раз написано что это нужно для убирания каких-то проблем с потерянными подтверждениями.

так все работает, дедупликация работает, проблем нет, иногда не работает ее отключение по времени

Anthony Shchukin in ClickHouse не тормозит

19:39пожаловаться #11

AS

Replicated таблицы подвержены дюпам на фундаментальном уровне, да?

19:43пожаловаться #12

DC

Anthony Shchukin

Replicated таблицы подвержены дюпам на фундаментальном уровне, да?

вы вообще не в теме. Никакой дедупликации в таблицах нет.

Есть дедупликация ста последних блоков вставки (кусков инсертов). Для replicated (потому что через ZK). На самом деле для простых MT просто невмержено, тоже никакой проблемы реализовать нет.

Anthony Shchukin in ClickHouse не тормозит

19:49пожаловаться #13

AS

Denny Crane [not a Yandex bot]

вы вообще не в теме. Никакой дедупликации в таблицах нет.

Есть дедупликация ста последних блоков вставки (кусков инсертов). Для replicated (потому что через ZK). На самом деле для простых MT просто невмержено, тоже никакой проблемы реализовать нет.

да, вы правы, совсем не в теме.
прокачиваюсь, разбираюсь.
спасибо за информацию =)

19:50пожаловаться #14

DC

Anthony Shchukin

да, вы правы, совсем не в теме.
прокачиваюсь, разбираюсь.
спасибо за информацию =)

в общем инсерт может развалится на много блоков, вставка блока будет пропущена если контрольная сумма блока совпадает с одной из 100 последних

19:52пожаловаться #15

SM