Size: a a a

ClickHouse не тормозит

2020 September 24

EV

Evgeny Vinogradov in ClickHouse не тормозит
клик, к сожалению, не для таких запросов. Грузите, по возможности, готовый join
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Sanzhar Sarsenbi
есть достаточной просто запрос на SQL, но данных много (400 млн записей) и на джоине всегда запросы улетает по памяти (Memory limit (for query) exceeded)
set join_algorithm= 'partial_merge'
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Alexey Pikin
@den_crane а OPTIMIZE ... FINAL DEDUPLICATE лочит какие-то запросы в параллельных сессиях (INSERT-ы или SELECT-ы)? В-целом, понятно, что перформанс на какое-то время просядет, потому что идет потребление iops диска и ЦПУ
Ничего не лочит
источник

И

Иван in ClickHouse не тормозит
Sanzhar Sarsenbi
Почти Такая же как первая
Ну во-первых есть много настроек по группировкам и памяти, а во-вторых, возможно, данные можно посчитать каким либо другим способом, с меньшим количеством оперативной памяти. Надо понимать что за запрос и какой там join + какая группировка
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Иван
Ну во-первых есть много настроек по группировкам и памяти, а во-вторых, возможно, данные можно посчитать каким либо другим способом, с меньшим количеством оперативной памяти. Надо понимать что за запрос и какой там join + какая группировка
Ну я пишу его как обычный sql
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Select ...
From table1
Left join table2 on id=table_id
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Ну и group by attribute
источник

EV

Evgeny Vinogradov in ClickHouse не тормозит
Sanzhar Sarsenbi
Select ...
From table1
Left join table2 on id=table_id
можно ли сделать group by какой-то таблицы без join?
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Evgeny Vinogradov
можно ли сделать group by какой-то таблицы без join?
Да
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Ну ток не совсем понятно)
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
Как это в sql выглядеть будет
источник

EV

Evgeny Vinogradov in ClickHouse не тормозит
тогда лучше так:
select ... from (select xxx, <aggFunction>(..) from table1 group by xxx) left join (select ...) on ...
источник

EV

Evgeny Vinogradov in ClickHouse не тормозит
имеется ввиду уменьшить объем "таблиц" до join
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
о
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
это прям лайфхак
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
сейчас попробую
источник

SS

Sanzhar Sarsenbi in ClickHouse не тормозит
спасибо огромное!
источник

IB

Ivan Blinkov in ClickHouse не тормозит
Следующая онлайн встреча по ClickHouse уже через неделю https://clck.ru/R2zB9
источник

VP

Vasiliy Panshin in ClickHouse не тормозит
Всем привет. Ребят, подскажите можно ли у клике из коробки сделать такую штуку:
Есть таблица с логом событий
id, event, sequrity_event

есть поток event'ов:
сначала прилетают id, event, null
через какое-то время прилетает id, null, security_event
id одинаковый для двух этих записей

Что хотется: чтобы клик схлопнул эти записи в одну по id.
Можно такое реализовать?
источник

М

Максим in ClickHouse не тормозит
Vasiliy Panshin
Всем привет. Ребят, подскажите можно ли у клике из коробки сделать такую штуку:
Есть таблица с логом событий
id, event, sequrity_event

есть поток event'ов:
сначала прилетают id, event, null
через какое-то время прилетает id, null, security_event
id одинаковый для двух этих записей

Что хотется: чтобы клик схлопнул эти записи в одну по id.
Можно такое реализовать?
ReplacingMergeTree + ver
источник