DC
а вы все это в рамках одной сессии делаете? если да, то такое поведение очевидное
Ни при чем тут сессии
Size: a a a
2020 June 30
RO
по умочанию дедуплицируются 100 последних инсертов
а количество регулируется? или 100 хардкодед?
S
Required Optional
а количество регулируется? или 100 хардкодед?
RO
Кул спасибо большое!
DC
Required Optional
а количество регулируется? или 100 хардкодед?
лучше не менять, либо поставьте insert_deduplicate=0 либо добавьте поле в таблицу с id инсерта
RO
Доку читайте про replicated и про insert_deduplicate
так получается, что DELETE WHERE коряво работает - не чистит среди последней сотни попавшие под разадчу запросы? Или я не совсем все правильно понимаю?
DC
Required Optional
так получается, что DELETE WHERE коряво работает - не чистит среди последней сотни попавшие под разадчу запросы? Или я не совсем все правильно понимаю?
Delete where удаляет строки а дедуплицируются блоки, нельзя реализовать такое, это невозможно
RO
Delete where удаляет строки а дедуплицируются блоки, нельзя реализовать такое, это невозможно
так строка удаленная из блока по идее должна убирать блок из списка или нет?
DC
Required Optional
так строка удаленная из блока по идее должна убирать блок из списка или нет?
нельзя понять в каком она блоке, какой убирать? все ?
DC
кстати теперь дедупликация вставок будет и для просто mergtree таблиц https://github.com/ClickHouse/ClickHouse/pull/8467
RO
нельзя понять в каком она блоке, какой убирать? все ?
ну почему же все :) только те из которых вытянули хотябы одну сторку
RO
а проблему дедупликации можно профиксить оптимайз дедупликэйт или нет?
DC
Required Optional
ну почему же все :) только те из которых вытянули хотябы одну сторку
короче, все это уже обсужденно 888 раз, три года назад, все уже подумали и 800 раз попробовали, тошно жевать этот мусор
RO
короче, все это уже обсужденно 888 раз, три года назад, все уже подумали и 800 раз попробовали, тошно жевать этот мусор
спасибо большое за инфу. теперь я вооружен, благодоря вам, и буду двигаться в разрешенном направлении.
S
Required Optional
а проблему дедупликации можно профиксить оптимайз дедупликэйт или нет?
дорого
DC
Required Optional
а проблему дедупликации можно профиксить оптимайз дедупликэйт или нет?
вообще никакой связи, фичи похожи как квадратный корень из -3 похож на удобрение апельсинов
DC
Это сделано для того, чтобы в случае сбоя в сети, когда клиентское приложение не может понять, были ли данные записаны в БД, можно было просто повторить запрос INSERT. При этом не имеет значения, на какую реплику будут отправлены INSERT-ы с одинаковыми данными. Запрос INSERT идемпотентный.
A
Есть ли способ использовать поиск подстроки в элементах массива? Типа как match(haystack, pattern) только для поля, которое является массивом?
DC
Есть ли способ использовать поиск подстроки в элементах массива? Типа как match(haystack, pattern) только для поля, которое является массивом?
ну либо перебрать arrayMap / arrayFilter или преобразовать массив в строку toString(arr)
DC
arrayMap ( i -> match( i , pattern), arr)
match(toString(arr), pattern)
match(toString(arr), pattern)