Size: a a a

ClickHouse не тормозит

2020 May 27

Д

Дима in ClickHouse не тормозит
Slach
вы можете сделать все за бесплатно, @kafnevod останется доволен =)
я 65 миинимум беру)))
источник

И

Иван in ClickHouse не тормозит
offtop.
источник

D

Dj in ClickHouse не тормозит
@milovidov_an

а можно узнать что с этим случилось? очень классная фича просто для lat/lon (по сути позволяет не городить огород с geohash)

https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup27/beautiful_indexing.pdf

https://youtu.be/5GR1J4T4_d8?t=1939
источник

DT

Dmitry Titov in ClickHouse не тормозит
Старый Хрыч
а кол-во данных во много раз больше оперативы, да и индексы в оперативу на проде возможно влезать не будут
Главный индекс всегда в оперативной памяти
источник

R

Rail in ClickHouse не тормозит
Приветствую! Каким образом можно обновлять данные в таблице если эти данные приходят из kafka engine
то есть логика сейчас простая: kafka engine -> MV -> all_user_data, получаем, что в таблице all_user_data хранятся все обновленные данные по юзеру, но нужно хранить только одну запись для каждого user_id, как можно это сделать?
Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу или дублировать данные в отдельный кафка топик из которого КХ берет данные и также складывает/перезаписывает данные в отдельной таблице или еще каким то образом?
источник

🤖🔥

🤖 Evgeny Sukalov 🔥... in ClickHouse не тормозит
Доброго времени суток!

Подскажите, пожалуйста, в чём проблема:

Делаю удаление некоторых строк командой ALTER TABLE table_name_here DELETE WHERE element=541903;
Результат - http://skrinshoter.ru/s/270520/LQttFQbR

Но когда проверяю её(или аналогичные команды) в списке мутаций(команда SELECT * FROM system.mutations WHERE is_done = 0; ), меня смущает "Code: 49, e.displayText() = DB::Exception: Sort order of blocks violated" - http://skrinshoter.ru/s/270520/FjYUgQBs

Правильно ли я понимаю, что эта строка не удалится? Если так, то в чём может быть проблема и как её устранить?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Rail
Приветствую! Каким образом можно обновлять данные в таблице если эти данные приходят из kafka engine
то есть логика сейчас простая: kafka engine -> MV -> all_user_data, получаем, что в таблице all_user_data хранятся все обновленные данные по юзеру, но нужно хранить только одну запись для каждого user_id, как можно это сделать?
Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу или дублировать данные в отдельный кафка топик из которого КХ берет данные и также складывает/перезаписывает данные в отдельной таблице или еще каким то образом?
>Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу
проще сделать так. чем городить отдельный кафка топик, как я понимаю топики по наполнению всеравно будут одинаковыми
источник

A

Andrey in ClickHouse не тормозит
Rail
Приветствую! Каким образом можно обновлять данные в таблице если эти данные приходят из kafka engine
то есть логика сейчас простая: kafka engine -> MV -> all_user_data, получаем, что в таблице all_user_data хранятся все обновленные данные по юзеру, но нужно хранить только одну запись для каждого user_id, как можно это сделать?
Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу или дублировать данные в отдельный кафка топик из которого КХ берет данные и также складывает/перезаписывает данные в отдельной таблице или еще каким то образом?
Посмотрите движки replasingmergeetree/collapsingmergetree
источник

R

Rail in ClickHouse не тормозит
Dmitry Titov
>Сделать отдельный MV, который читает из all_user_data и складывает в отдельную таблицу
проще сделать так. чем городить отдельный кафка топик, как я понимаю топики по наполнению всеравно будут одинаковыми
только не понятно как запрос написать для такого MV
источник

DT

Dmitry Titov in ClickHouse не тормозит
Rail
только не понятно как запрос написать для такого MV
SELECT * FROM ORDER BY user_id, updated_at LIMIT 1 BY updated_at
источник

DT

Dmitry Titov in ClickHouse не тормозит
движок взять replacingmergeetree
с ORDER BY (user_id)
источник

R

Rail in ClickHouse не тормозит
Andrey
Посмотрите движки replasingmergeetree/collapsingmergetree
Ага, смотрю, меня смущает то, что надо в select запросах использовать модификатор FINAL
источник

DT

Dmitry Titov in ClickHouse не тормозит
что то типо такого
источник

DT

Dmitry Titov in ClickHouse не тормозит
Rail
Ага, смотрю, меня смущает то, что надо в select запросах использовать модификатор FINAL
лучше не использовать, а строить запросы таким образом, что бы дубликатов небыло
источник

DT

Dmitry Titov in ClickHouse не тормозит
FINAL довольно тормозит
источник

A

Andrey in ClickHouse не тормозит
Rail
Ага, смотрю, меня смущает то, что надо в select запросах использовать модификатор FINAL
не обязательно. Можно доаггрегацию делать.
источник

R

Rail in ClickHouse не тормозит
Dmitry Titov
FINAL довольно тормозит
Здесь один из разрабов КХ вообще не рекомендовал использовать replasingmergeetree)
https://github.com/ClickHouse/ClickHouse/issues/3472
правда возможно эта инфа уже не актуальная
источник

DT

Dmitry Titov in ClickHouse не тормозит
>Лучше не использовать, ни то ни другое.

Но если других альтернатив нет, то что то использовать придется
источник

R

Rail in ClickHouse не тормозит
Andrey
не обязательно. Можно доаггрегацию делать.
Тоже хочется узнать, что думаете насчет ответа про replasingmergeetree в https://github.com/ClickHouse/ClickHouse/issues/3472
источник

R

Rail in ClickHouse не тормозит
Dmitry Titov
>Лучше не использовать, ни то ни другое.

Но если других альтернатив нет, то что то использовать придется
эх, ну наверное придется копать в сторону replasingmergeetree
источник