Size: a a a

ClickHouse не тормозит

2021 February 26

S

Slach in ClickHouse не тормозит
T
всем привет, в кх есть возможность узнать кардинальность колонки?
SELECT 
  column,
  unique(column) as per_column_value_uniq,
  per_column_value_uniq * 100 / ( SELECT unique(column) FROM table ) as uniq_percent_to_total
  count() as per_column_value_count,
  per_column_value_count * 100 / ( SELECT count() FROM table ) as count_percent_to_total
FROM table
GROUP BY column


хотя конечно что именно вы подразумеваете под кардинальностью
источник

S

Slach in ClickHouse не тормозит
Виктор
Тогда думаю надо копать в сторону настроек сервера. Там есть периодичность вычитывания из кафки и размер блока, при котором происходит вычитывание даже если тайм-аут ещё не пришёл
у них в Kafka Таблицу все нормально читается
у них по какой то причине у MV не попадает

MV там не Kafka таблица... а обычный MergeTree
что и странно
источник

В

Виктор in ClickHouse не тормозит
Slach
у них в Kafka Таблицу все нормально читается
у них по какой то причине у MV не попадает

MV там не Kafka таблица... а обычный MergeTree
что и странно
mv это просто триггер на инсерт, инициатор как раз таки таблица с кафкой, а чтение из неё автоматом (а следовательно и триггер) происходит согласно двум параметрам, про которые я написал. Если просто создать кафка таблицу, то такого автоматического чтения не будет
источник

DT

Dmitry Titov in ClickHouse не тормозит
T
всем привет, в кх есть возможность узнать кардинальность колонки?
uniq посчитать
источник

В

Виктор in ClickHouse не тормозит
Slach
у них в Kafka Таблицу все нормально читается
у них по какой то причине у MV не попадает

MV там не Kafka таблица... а обычный MergeTree
что и странно
Проверить очень просто - если есть mv, то селект напрямую из кафки будет возвращать прерывистые данные относительно того что в топике, без mv вы будете всегда получать весь поток данных (все потому, что из кафки можно прочитать одни и те же данные только один раз)
источник

PV

Pavel Vorontsov in ClickHouse не тормозит
Виктор
mv это просто триггер на инсерт, инициатор как раз таки таблица с кафкой, а чтение из неё автоматом (а следовательно и триггер) происходит согласно двум параметрам, про которые я написал. Если просто создать кафка таблицу, то такого автоматического чтения не будет
В том то и фишка, что триггер вроде как не срабатывает. Непонятно почему. И сообщений о проблемах никаких
источник

В

Виктор in ClickHouse не тормозит
Pavel Vorontsov
В том то и фишка, что триггер вроде как не срабатывает. Непонятно почему. И сообщений о проблемах никаких
Поднимите в докере КХ той же версии с чистым конфигом и попробуйте вашу схему, можно ещё с другой версией проверить
источник

AG

Alexei Generalov in ClickHouse не тормозит
Добрый день. Подскажите, пожалуйста.
Почему суммы при запросе

SELECT SUM ( col ) FROM _table
и
SELECT SUM ( col ) FROM _table FINAL
могут не сходится, если при обычном запросе данные одинаковые?
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Alexei Generalov
Добрый день. Подскажите, пожалуйста.
Почему суммы при запросе

SELECT SUM ( col ) FROM _table
и
SELECT SUM ( col ) FROM _table FINAL
могут не сходится, если при обычном запросе данные одинаковые?
Вероятно, есть записи, которые движок таблицы должен померджить,
но пока не померджил.
А что такое обычный запрос?
источник

AG

Alexei Generalov in ClickHouse не тормозит
Anton Khokhrin
Вероятно, есть записи, которые движок таблицы должен померджить,
но пока не померджил.
А что такое обычный запрос?
спасибо за ваш ответ.
Обычный запрос - без группировки, просто выбор значений col
источник

AG

Alexei Generalov in ClickHouse не тормозит
т.е. сравнение по категориям.
cat, col <——> cat final, col final
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
спасибо за ваш ответ.
Обычный запрос - без группировки, просто выбор значений col
а вы можете проверить кол-во строк с и без final?
источник

AG

Alexei Generalov in ClickHouse не тормозит
Dj
а вы можете проверить кол-во строк с и без final?
кол-во почти никогда не сойдется из-за того, что движок ReplacingMT, и в таблице есть строки с sign = -1
источник

D

Dj in ClickHouse не тормозит
тогда непонятен ваш вопрос тут https://t.me/clickhouse_ru/206254
источник

AG

Alexei Generalov in ClickHouse не тормозит
данные хранятся например так
category, value, sign
'cat_1', 10, 1
'cat_1', -10, -1
'cat_1', 11, 1
источник

AG

Alexei Generalov in ClickHouse не тормозит
сумма из такой таблицы равна 11
источник

AG

Alexei Generalov in ClickHouse не тормозит
из final таблицы сумма тоже должна быть 11, т.к. первые две строки не попадают в final вид
источник

AG

Alexei Generalov in ClickHouse не тормозит
речь идет конечно о миллионах строк и сотнях миллиардов в сумме
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
из final таблицы сумма тоже должна быть 11, т.к. первые две строки не попадают в final вид
ну а у вас что?
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Сумма должна быть 31
источник