Size: a a a

ClickHouse не тормозит

2020 August 27

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
detach table / attach table просто пересоздает таблицу в памяти (в system.parts) сканирует весь каталог и разбирает какие парты лишние, каких не хватает
ясно, спасибо... просто перестраховались ввиду того что итого партов ушло за 300 тыс =)
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
detach table / attach table просто пересоздает таблицу в памяти (в system.parts) сканирует весь каталог и разбирает какие парты лишние, каких не хватает
detach partition -> drop detached не помог блин тоже...
пошли в стадию detach/attach table
источник

A

Andrey in ClickHouse не тормозит
Ребята, привет! А как посмотреть размер вторичного индекса?
источник
2020 August 28

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrey
Ребята, привет! А как посмотреть размер вторичного индекса?
а никак, только на диске find ... / awk
источник

IV

Ilya Vishnevsky in ClickHouse не тормозит
Парни, можно ли ожидать существенную разницу в производительности , если от строкового ключа в индексе перейти на целочисленный ?
Кардиналити у них одинаковое
источник

DT

Dmitry Titov in ClickHouse не тормозит
всмысле на enum?
источник

IV

Ilya Vishnevsky in ClickHouse не тормозит
Нет, есть две колонки : resourceID UInt64 и resourceDomain String
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ну обычно числовые типы выходят гораздо легковеснее, те нужно меньше читать с диска, но это важно скорее для всяких GROUP BY по полям, а не фильтрации по нему.
источник

IV

Ilya Vishnevsky in ClickHouse не тормозит
Понял, спасибо !
источник

A

Artem in ClickHouse не тормозит
Вторичные индексы для SELECT type, toYYYYMM(date_time) AS part, min(), max(), count() GROUP BY type, part не помогут?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Вторичные индексы для SELECT type, toYYYYMM(date_time) AS part, min(), max(), count() GROUP BY type, part не помогут?
нет. Посмотрите на aggregatingMT и MV , вот они точно помогут и значительно
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artem
Вторичные индексы для SELECT type, toYYYYMM(date_time) AS part, min(), max(), count() GROUP BY type, part не помогут?
вторичные индексы помогают только пропускать большие объемы данных в определенных случаях
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
нет. Посмотрите на aggregatingMT и MV , вот они точно помогут и значительно
MT — это что?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artem
MT — это что?
MergeTree
источник

A

Artem in ClickHouse не тормозит
Ага, ок
источник

A

Artem in ClickHouse не тормозит
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Ага, ок
там буквально можно хранить готовые числа
SELECT type, toYYYYMM(date_time) AS part, min(), max(), count() GROUP BY type, part

и выбирать без почти аггрегации
источник

S

Slach in ClickHouse не тормозит
https://github.com/ksensehq/eventnative

о! появился годный event tracker на golang с поддержкой clickhouse\bigquery\redshift\snowflake ...
посмотрим насколько вменяемые будут SDK
эхх... сделали бы как heap.io - трекать все, а потом ретроспективно выделять из того что собрали "события"
источник

Н

Николай in ClickHouse не тормозит
Yuri Velgosha
<yandex>
<remote_servers replace="1">
       <My_cluster>
               <shard>
                   <internal_replication>true</internal_replication>
                   <replica>
                       <host>clhs-001</host>
                       <port>9000</port>
                   </replica>
                   <replica>
                       <host>clhs-002</host>
                       <port>9000</port>
                   </replica>
               </shard>
Внес изменение, остановил, запустил сервис на обоих машинах
источник

Н

Николай in ClickHouse не тормозит
Оно мне написало Unknown, это нормально?
источник