Size: a a a

ClickHouse не тормозит

2020 June 03

A

Andrey in ClickHouse не тормозит
Alex
так в кликхаусе можно делать delete и update! :))
ну тока перед этим надо оттеститься на данных +/- prod, чтоб понимать как быстро они будут работать и как себя будут чувствовать хосты во время их применения. А в остальном да, можно 😄
источник

A

Alex in ClickHouse не тормозит
да вот гоняю вроде норм все
источник

A

Alex in ClickHouse не тормозит
как же это облегчило мне жизнь)
источник

A

Alex in ClickHouse не тормозит
кучу кода не нужно писать)
источник

K

Karlson in ClickHouse не тормозит
Всем привет, нужно сделать выборку для гистограммы с группировкой по диапозону от выбранного 0 до выбранного прайса ( сложить все X ) , и пока не приложу ума как это сделать
Запрос такого типа
SELECT price,
      count() as x
FROM table
GROUP BY price
ORDER BY price ASC
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
так в кликхаусе можно делать delete и update! :))
Это админстративные операции. их нельзя использовать как замену update/delete
источник

NM

Nikita Martovs in ClickHouse не тормозит
Привет! Есть масивы собранные groupUniqArray как можно сделать группировку по ним, если важен набор элеменов в масиве, а не их порядок. Не вижу, как посортировать перед группировокой в массив?
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Это админстративные операции. их нельзя использовать как замену update/delete
они как то не так удаляют?)
источник

A

Alex in ClickHouse не тормозит
в смысле, могут удалить что то не то?)
источник

A

Andrey in ClickHouse не тормозит
Alex
как же это облегчило мне жизнь)
Объемы, главное объемы и IO промониторьте.
Работают они сильно иначе чем привычные update/delete в реляционных бд.
Там происходит полная перезапись всех затронутых данных.
источник

A

Andrey in ClickHouse не тормозит
Alex
они как то не так удаляют?)
именно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Evgeny Kruglov (work)
Скажите пожалуйста, а разница в используемой памяти в 200 раз при arrayIntersect(arr, sm) и arrayCount(a -> has(sm, a), arr) это нормально?

Синтетическсий запрос с интерсект использует 5мб, а с arrayCount - 1037мб

select sum(len)
from (
   select
       length(arrayIntersect(arr, sm)) as len
       -- arrayCount(a -> has(sm, a), arr) len
   from (
       select arr, range(val) as sm from (
           select range(1000) as arr
       )
       array join arr as val
   )
)
Во втором случае в лямбду передается размноженная копия массива sm
источник

A

Alex in ClickHouse не тормозит
@rheinx @den_crane спасибо
источник

EK

Evgeny Kruglov (work... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Во втором случае в лямбду передается размноженная копия массива sm
В лямюду передаётся копия массива, а не ссылка на него? Грустно. Так во всех лямбдах происходит?
источник

A

Andrey in ClickHouse не тормозит
Alex
кучу кода не нужно писать)
в общем случае среднестатистический пользователь CH для удаления использует drop partition.
Если нужен update/delete то обратите внимание на движки replasingmergetree/collapsingmergetree
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Evgeny Kruglov (work)
В лямюду передаётся копия массива, а не ссылка на него? Грустно. Так во всех лямбдах происходит?
да
источник

A

Alex in ClickHouse не тормозит
Andrey
в общем случае среднестатистический пользователь CH для удаления использует drop partition.
Если нужен update/delete то обратите внимание на движки replasingmergetree/collapsingmergetree
у меня партишн помесячно, а данные пишутся ежедневно, я не думаю что есть смысл делать партици по дням? в день там +- 30 лямов падает записей
источник

A

Andrey in ClickHouse не тормозит
Alex
у меня партишн помесячно, а данные пишутся ежедневно, я не думаю что есть смысл делать партици по дням? в день там +- 30 лямов падает записей
зависит от того сколько лишнего вы можете держать и каким объемами будете удалять.
Ну т.е. если вам удалять месяцами ок, то держите месяцами. Если нет, и надо чаще, то неделями.

Днями может быть обратная сторона если долго хранить будете. Партиций будет много.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Nikita Martovs
Привет! Есть масивы собранные groupUniqArray как можно сделать группировку по ним, если важен набор элеменов в масиве, а не их порядок. Не вижу, как посортировать перед группировокой в массив?
arraySort?
источник

TL

Tony Larin in ClickHouse не тормозит
на 20.4. не работают словари :(
>To execute this query it's necessary to have the grant dictGet ON

grant выполняется но ошибка остается. Как поправить?

Пользователь создан SQL, словарь xml на диске.
источник