Size: a a a

ClickHouse не тормозит

2021 March 15

FL

Fedor Loktionov in ClickHouse не тормозит
А можно ли это изменить, не пересоздавая таблицу?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Можно.
Проблема в том что для семплинга нужно выражение с хешфункцией в индексе, причем чтобы семплинг работал нужно особым образом сделать индекс таким чтобы кардинальнсть лидирующих полей перед выражением для семплинга была невысокой.

И семплинг больше .1 смысла не имеет. Поэтому если вам нужен семплинг типа по 20% то можно просто в where дописать  rand()%5=0
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
почему вы так думаете? И почему он не должен забирать? КХ не высвобождает память моментально.
странно просто, есть 3 сервера, 1 сам по себе, 2 между которыми зк. в первый и в один из репликейтед льются одним те же данные, но на тот который репликейтед  ходят юзеры с селектами, и он жрет 6-10 ГБ без запросов. а который сам по себе(на нем не выполняются запросы) жрет 40 ГБ.
что это может быть?
источник

SY

Sergey Yakovlev in ClickHouse не тормозит
Словари?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
странно просто, есть 3 сервера, 1 сам по себе, 2 между которыми зк. в первый и в один из репликейтед льются одним те же данные, но на тот который репликейтед  ходят юзеры с селектами, и он жрет 6-10 ГБ без запросов. а который сам по себе(на нем не выполняются запросы) жрет 40 ГБ.
что это может быть?
почему вы так думаете? куда вы смотрите? RES/RSS? что?
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
почему вы так думаете? куда вы смотрите? RES/RSS? что?
в htop вижу, RES
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
в htop вижу, RES
select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
   database,
   name,
   formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   formatReadableSize(peak_memory_usage),
   query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   query
FROM system.query_log
WHERE (event_date >= today()) AND (event_time >= (now() - 7200))
ORDER BY memory_usage DESC
LIMIT 10
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
select formatReadableSize(sum(bytes_allocated)) from system.dictionaries;

SELECT
   database,
   name,
   formatReadableSize(total_bytes)
FROM system.tables
WHERE engine = 'Memory'

select formatReadableSize(sum(memory_usage)) from system.merges;

select formatReadableSize(sum(memory_usage)) from system.processes;

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   formatReadableSize(peak_memory_usage),
   query
FROM system.processes
ORDER BY peak_memory_usage DESC
LIMIT 10

SELECT
   initial_query_id,
   formatReadableSize(memory_usage),
   query
FROM system.query_log
WHERE (event_date >= today()) AND (event_time >= (now() - 7200))
ORDER BY memory_usage DESC
LIMIT 10
1-5 в сумме 1 ГБ даже не набирается
в последнем активных запросов нет, выполнялись более 2х часов назад
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
1-5 в сумме 1 ГБ даже не набирается
в последнем активных запросов нет, выполнялись более 2х часов назад
версия КХ ?
источник

K

Kid in ClickHouse не тормозит
источник

SB

Serge Bash in ClickHouse не тормозит
Можно каким-то образом указать клику, как он мне в селекте должен отображать пустые даты?
(по умолчанию 0000-00-00 ломает смежную систему)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Serge Bash
Можно каким-то образом указать клику, как он мне в селекте должен отображать пустые даты?
(по умолчанию 0000-00-00 ломает смежную систему)
нет, но 000 уже давно отменили

SELECT toDate(0)
┌──toDate(0)─┐
│ 1970-01-01 │
└────────────┘
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
слишком старый, надо в общем весь лог читать, там сообщения кто память захавал
источник

SB

Serge Bash in ClickHouse не тормозит
ClickHouse 20.3.20.6 🙁
SELECT toDate(0)
│ 0000-00-00 │
источник

K

Kid in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
слишком старый, надо в общем весь лог читать, там сообщения кто память захавал
понял, буду смотреть
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Serge Bash
ClickHouse 20.3.20.6 🙁
SELECT toDate(0)
│ 0000-00-00 │
а пустая дата в селекте это из join ?
источник

ВС

Витя Сергеев... in ClickHouse не тормозит
спасибо, идею уловил )
источник

SB

Serge Bash in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а пустая дата в селекте это из join ?
Нет, в таблице так лежит. Буду через if проверять тогда и возвращать нужную строку
источник

AK

Alexey Kh in ClickHouse не тормозит
это офигенный документ, спасибо. в документацию бы все это (я могу попробовать что-нибудь запуллреквестить, если это уже не планируется)
источник

AK

Alexey Kh in ClickHouse не тормозит
половину вещей из него я узнал через боль эксперементальным путем
источник