Size: a a a

ClickHouse не тормозит

2020 August 17

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
Да, люди захотели сами задавать его и иногда они ошибаются 😞
источник

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
Это случается очень редко, поэтому после прочтения беседы тут возникла еще одна идея: для поля created_at проводить update по id  записи. Это может помочь?
источник

SK

Sergey Kolomiychuk in ClickHouse не тормозит
Всем привет. Кто-нибудь занимается проектированием БД?
источник

D

Dj in ClickHouse не тормозит
Асхат Шаяхметович
Это случается очень редко, поэтому после прочтения беседы тут возникла еще одна идея: для поля created_at проводить update по id  записи. Это может помочь?
лучше тогда как вы выше описали.
CollapsingMergeTree используя данные основной базы. Стираете со старой датой, вставляете с новой.
Партиционирование по датам как есть ок.
источник

K

Kid in ClickHouse не тормозит
Sergey Kolomiychuk
Всем привет. Кто-нибудь занимается проектированием БД?
Так или иначе, в этом чате многие занимаются этим)
источник

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
Хорошо, спасибо. Вы сократили мне затраты на лишние попытки )
источник

SK

Sergey Kolomiychuk in ClickHouse не тормозит
Kid
Так или иначе, в этом чате многие занимаются этим)
Да наверное надо описать задачу и предложение конкретней)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Асхат Шаяхметович
Это случается очень редко, поэтому после прочтения беседы тут возникла еще одна идея: для поля created_at проводить update по id  записи. Это может помочь?
Нельзя апдейтить поля partition by / order by. Надо типа delete/insert
источник

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нельзя апдейтить поля partition by / order by. Надо типа delete/insert
Это из-за точго что новая партиция создается?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Асхат Шаяхметович
Это из-за точго что новая партиция создается?
Нет. Просто нельзя. На самом деле в других бд тоже нельзя. Перепрыгивание записи из партиции в партицию дофига нетривиально реализовать и тяжёлая операция
источник

АШ

Асхат Шаяхметович... in ClickHouse не тормозит
Понял, буду знать. Спасибо.
источник

AB

Artem Bochkov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я кстати перепутал, надо для atomic использовать EXCHANGE TABLES atom.X1 AND atom.X2;

https://gist.github.com/den-crane/521975b5333c5dc7059bed4030f62f94#file-rename_atomic-txt-L70
Спасибо! Где б еще прочитать про свойства atomic databse engine…
источник

V

Vladimir in ClickHouse не тормозит
Привет! Подскажите, плз, можно ли вот так просуумировать таплы внутри массива? SELECT [(1,1),(1,2),(2,1)]; --> [(1,3),(2,1)]. Т.е. чтобы из [(1,1),(1,2),(2,1)] получить [(1,3),(2,1)] суммированием правой части по ключу в левой части. В примере первый два тапла схлопнулись в один т.к. ключ в левой части одинаков
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
Привет! Подскажите, плз, можно ли вот так просуумировать таплы внутри массива? SELECT [(1,1),(1,2),(2,1)]; --> [(1,3),(2,1)]. Т.е. чтобы из [(1,1),(1,2),(2,1)] получить [(1,3),(2,1)] суммированием правой части по ключу в левой части. В примере первый два тапла схлопнулись в один т.к. ключ в левой части одинаков
sumMap
источник

V

Vladimir in ClickHouse не тормозит
через arrayReduce?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir
через arrayReduce?
SELECT sumMap(([(1, 1), (1, 2), (2, 1)] AS arr).1, arr.2) AS x

┌─x─────────────┐
│ ([1,2],[3,1]) │
└───────────────┘
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
SELECT sumMap(([(1, 1), (1, 2), (2, 1)] AS arr).1, arr.2) AS x

┌─x─────────────┐
│ ([1,2],[3,1]) │
└───────────────┘
Спасибо!
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
SELECT arrayZip((sumMap(([('a', 1), ('a', 2), ('b', 1)] AS arr).1, arr.2) AS o).1, o.2) AS y

┌─y─────────────────┐
│ [('a',3),('b',1)] │
└───────────────────┘
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
SELECT arrayZip((sumMap(([('a', 1), ('a', 2), ('b', 1)] AS arr).1, arr.2) AS o).1, o.2) AS y

┌─y─────────────────┐
│ [('a',3),('b',1)] │
└───────────────────┘
👍
источник

V

Vladimir in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
SELECT arrayZip((sumMap(([('a', 1), ('a', 2), ('b', 1)] AS arr).1, arr.2) AS o).1, o.2) AS y

┌─y─────────────────┐
│ [('a',3),('b',1)] │
└───────────────────┘
А если такой подход применять для таблицы в которой есть колонка Array(Tuple(String,UInt32)) и другие колонки? sumMap складывает все строки в одну. А я бы хотел применить такую операцию для каждоого значения колонки отдельно
источник