Size: a a a

ClickHouse не тормозит

2020 June 01

MG

Mikhail Glader in ClickHouse не тормозит
Andrey
Для пары десятков записей? Конечно без)
я думал, что партиции обязательны, поэтому сомневался
источник

АФ

Алишер Фозилов... in ClickHouse не тормозит
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Mikhail Glader
я думал, что партиции обязательны, поэтому сомневался
Он сам все разобьет на партиции как ему надо 🙂
Если указать партиционирование при создании таблицы, то он просто будет следовать этому правилу разбивки
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Лучше сразу при работе с кх выкинуть из головы подходы, которые используются в mysql, postgre, etc. 🙂
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
Он сам все разобьет на партиции как ему надо 🙂
Если указать партиционирование при создании таблицы, то он просто будет следовать этому правилу разбивки
будет одна партиция, с именем tuple()
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
будет одна партиция, с именем tuple()
спасибо за поправку 🙂
источник

M

Munir in ClickHouse не тормозит
Konstantin
Подскажите, пожалуйста, в какой момент вычисляются TTL выражения? При записи или во время слияний?
Слияниий
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Подскажите как правильно чанками по 30к перебрать таблицу размером 39kk с наименьшей нагрузкой на проц?

Пробовал разные движки MergeTree, SummingMergeTree, Log
Но везде втыкаюсь в проблемы, например:
1. SummingMergeTree
При limit 7620000, 100
0.93 sec.| 39,318,115 rows.| 4 GB
Но при этом нагрузка на 64 ядра по 30-40% на каждое

если добавить сюда еще и order by из-за того что кх не упорядоченно отдает данные, то тогда
21.26 sec.| 39,318,115 rows.| 4 GB
нагрузка до 50% на ядро
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Кроме как перед перебором с агрегировать данные и положить в лог (чтобы не делать order by), возможны еще решения?
источник

AV

Aleksandr Vasilev in ClickHouse не тормозит
Добрый день! Подскажите, пожалуйста, как после нескольких инсертов в одну из реплик убедиться, что данные доехали до остальных реплик? Достаточно ли дожаться, чтобы в system.replication_queue было пусто? Или надежнее проверять через count()?
источник

A

Andrey in ClickHouse не тормозит
Dmitry Koreckiy
Подскажите как правильно чанками по 30к перебрать таблицу размером 39kk с наименьшей нагрузкой на проц?

Пробовал разные движки MergeTree, SummingMergeTree, Log
Но везде втыкаюсь в проблемы, например:
1. SummingMergeTree
При limit 7620000, 100
0.93 sec.| 39,318,115 rows.| 4 GB
Но при этом нагрузка на 64 ядра по 30-40% на каждое

если добавить сюда еще и order by из-за того что кх не упорядоченно отдает данные, то тогда
21.26 sec.| 39,318,115 rows.| 4 GB
нагрузка до 50% на ядро
https://clickhouse.tech/docs/ru/operations/settings/settings/#settings-max_threads
но это чисто ограничение самого запроса, для него не будет юзаться больше потоков чем указано в этой настройке.
источник

KG

Kate Glushchenko in ClickHouse не тормозит
Добрый день!
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client

Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.

Если уменьшаю размер пачки, то просто падает чутка позже.

Что делать?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Kate Glushchenko
Добрый день!
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client

Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.

Если уменьшаю размер пачки, то просто падает чутка позже.

Что делать?
а зачем пачками по 6-10тыс?
я переливал млрд записей просто INSERT SELECT
источник

KG

Kate Glushchenko in ClickHouse не тормозит
потому что не получается сразу вот так - возникает та же ошибка с ОЗУ. Пробую пачками - не помогает
источник

KG

Kate Glushchenko in ClickHouse не тормозит
что мягко говоря выглядит странно
источник

DT

Dmitry Titov in ClickHouse не тормозит
Сколько озу на сервере?
источник

D

Dj in ClickHouse не тормозит
Kate Glushchenko
потому что не получается сразу вот так - возникает та же ошибка с ОЗУ. Пробую пачками - не помогает
сколько ОЗУ на сервере
какой max_insert_block_size
сколько партов в вашей таблице из которой идет селект
какой средний/медианный размер парта в вашей таблице из которой идет селект
?
источник

P

Pavel in ClickHouse не тормозит
Я что-то понять не могу, пытаюсь добавить ALIAS к столбцу ALTER TABLE events ADD COLUMN some_alias ALIAS id_str_1; получаю ClickHouse exception, code: 36, host: clickhouse-1.services, port: 8223; Code: 36, e.displayText() = DB::Exception: Data type have to be specified for column `some_alias to add (version 20.4.2.9 (official build))`
источник

KG

Kate Glushchenko in ClickHouse не тормозит
Dj
сколько ОЗУ на сервере
какой max_insert_block_size
сколько партов в вашей таблице из которой идет селект
какой средний/медианный размер парта в вашей таблице из которой идет селект
?
16 Gb, max_insert_block_size не настроен. Выборка идет внутри партиции, партиция состоит из 3 файлов по 7-8 Gb
источник

D

Dj in ClickHouse не тормозит
Pavel
Я что-то понять не могу, пытаюсь добавить ALIAS к столбцу ALTER TABLE events ADD COLUMN some_alias ALIAS id_str_1; получаю ClickHouse exception, code: 36, host: clickhouse-1.services, port: 8223; Code: 36, e.displayText() = DB::Exception: Data type have to be specified for column `some_alias to add (version 20.4.2.9 (official build))`
ALTER TABLE events ADD COLUMN some_alias String ALIAS id_str_1
источник