Size: a a a

ClickHouse не тормозит

2020 September 25

DT

Dmitry Titov in ClickHouse не тормозит
А, ну фигня короче
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
А, ну фигня короче
м?
источник

DT

Dmitry Titov in ClickHouse не тормозит
не много занимает в оперативной памяти, на больших таблицах это могут быть десятки-сотни гигабайт вот тогда бывает есть смысл оптимизировать PRIMARY KEY ORDER BY таблицы
источник

ML

Mimik Lamerger in ClickHouse не тормозит
Dmitry Titov
не много занимает в оперативной памяти, на больших таблицах это могут быть десятки-сотни гигабайт вот тогда бывает есть смысл оптимизировать PRIMARY KEY ORDER BY таблицы
дак и я говорю таблицка фигня, в ней только события которых правда много, но столько памяти то кушать =)
источник

MF

Mohsen Fetrati in ClickHouse не тормозит
Hello!
источник

IF

Ilya Fiks in ClickHouse не тормозит
Такой вопрос, можно ли сделать простым (не вложенным) запросом агрегацию по столбцу, который может не существовать, и если он не существует, то использовать default-значение.

Что-то типа:

SELECT sum(column if exists else 1) FROM ***
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ilya Fiks
Такой вопрос, можно ли сделать простым (не вложенным) запросом агрегацию по столбцу, который может не существовать, и если он не существует, то использовать default-значение.

Что-то типа:

SELECT sum(column if exists else 1) FROM ***
это что за столбец такой? Merge таблица что ли?
источник

IF

Ilya Fiks in ClickHouse не тормозит
Dmitry Titov
это что за столбец такой? Merge таблица что ли?
не важно... просто запрос будет применен к таблицам в которых либо будет существовать эта колонка, либо нет (((
источник

DT

Dmitry Titov in ClickHouse не тормозит
Я бы сказал, что нет нельзя
кх до выполнения запроса попытается зарезолвить столбец в его имя и не сможет
источник

DT

Dmitry Titov in ClickHouse не тормозит
В теории можно для всех таблиц где нет этого столбца сделать столбец ALIAS который виртуальный
источник

IF

Ilya Fiks in ClickHouse не тормозит
Dmitry Titov
Я бы сказал, что нет нельзя
кх до выполнения запроса попытается зарезолвить столбец в его имя и не сможет
Спасибо, я предполагал это... Но, думал, что вдруг получится.... ))
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ilya Fiks
Спасибо, я предполагал это... Но, думал, что вдруг получится.... ))
SELECT sum(coalesce(COLUMNS('n'),1))  FROM numbers(10);

https://clickhouse.tech/docs/ru/sql-reference/statements/select/

здесь есть описание COLUMNS
источник

DT

Dmitry Titov in ClickHouse не тормозит
можно так, но оно на любителя
источник

IF

Ilya Fiks in ClickHouse не тормозит
ОООО!!!!
источник

IF

Ilya Fiks in ClickHouse не тормозит
хак, конечно, но сойдет
источник

IF

Ilya Fiks in ClickHouse не тормозит
Dmitry Titov
можно так, но оно на любителя
спасибо
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ilya Fiks
хак, конечно, но сойдет
мне вариант с созданием ALIAS колонок больше нравится, есть ощущение что оно будет побыстрее
источник

VM

Vadim Metikov in ClickHouse не тормозит
Mimik Lamerger
дак и я говорю таблицка фигня, в ней только события которых правда много, но столько памяти то кушать =)
Попробуй:
SELECT
   table,
   count() AS parts_,
   sum(rows) AS rows_,
   sum(data_compressed_bytes) AS data_compressed_bytes_,
   sum(data_uncompressed_bytes) AS data_uncompres_b,
   toUInt64((data_compressed_bytes_ / data_uncompres_b) * 10000) / 100 AS compress_%,
   sum(marks) AS marks_,
   sum(marks_bytes) AS marks_bytes_,
   sum(primary_key_bytes_in_memory_allocated) AS PK_bytes_in_memory
FROM system.parts
WHERE active = 1
GROUP BY
   database,
   table
ORDER BY
   database ASC,
   table DESC

последние 2 столбца - память, у нас так 160Г было, разрядили индекс , стало 60Г
источник

D

Dj in ClickHouse не тормозит
Mimik Lamerger
это плохо, надо как-то ограничить кх =)
мы ограничиваем, макс мемори, макс тредс (по среднему кол-ву клиентов).
нормально бегает все рядом.
единственный минус, наш апп ломает ФС кеш, который КХ очень любит.
как ограничить ФС кеш на апп не нашли
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Dmitry Titov
Иметь лишние (так называемые треш программы) на одном сервере с кх это не лучший паттерн, кх очень активно умеет выжирать все ресурсы.
кх в документации предлагает nobarrier и noatime на файлуху
источник