D
не исходной, а результирующей после группировки
Size: a a a
2020 August 23
MK
не исходной, а результирующей после группировки
нет, агрегация делается после слияния сброшенных на диск двухуровневых таблиц
D
ну даже если их уменьшить до одного, всё равно останется 1/256 исходной таблицы
https://t.me/clickhouse_ru/141946
подсчёты из прошлого...
и зависимость потоков...
если у вас даже при одном потоке все плохо, вам надо бить на подзапросы... либо уменьшать биты в ключе группировки (например используйте хеши)
подсчёты из прошлого...
и зависимость потоков...
если у вас даже при одном потоке все плохо, вам надо бить на подзапросы... либо уменьшать биты в ключе группировки (например используйте хеши)
DC
Проблемы возникают уже после
max_bytes_before_external_group_by, когда нужно слить воедино все сброшенные на диск двухуровневые хеш-таблицы. Что само по себе может и интересная задача, но решается она тем, что в память читается 1/256 от каждой сброшенной хеш-таблицы для каждого сливающего потока. Т.е. N/256 записей, где N размер исходной таблицы.DC
Да я смотрел это
ну тогда непонятно в чем вопрос, да КХ не может агрегировать бесконечные объемы, да жрет память, да его спроектировали для машин с 64ГБ+ озу
НА
всем привет, я новичек в clickhouse, как добавить optimize_throw_if_noop в конфиг?
НА
пример пожалуйста можно, у меня не оптимизируются данные
l
можно в секцию profile добавить
l
но вообще проще прописать set optimize_throw_if_noop=1; и сделать optimize через clickhouse-client
F
Ребят, подскажите сталкивался ли кто-то с тем, что в питон данные грузятся из кх как-то странно. Вот два скрина с выгрузками в DBeaver и в python, строка со вторым числом теряется, да и название столбца почему-то не подтягивается
F
AM
FatMaNikita
Если там где-то используется либа https://github.com/xzkostyan/clickhouse-sqlalchemy, то в ней есть баг с парсингом ответа при использовании sqlalchemy core. Если запрос не обернут в text, всегда выкидывается одна строчка из ответа
K
FatMaNikita
Ребят, подскажите сталкивался ли кто-то с тем, что в питон данные грузятся из кх как-то странно. Вот два скрина с выгрузками в DBeaver и в python, строка со вторым числом теряется, да и название столбца почему-то не подтягивается
F
Получилось! Спасибо, огонь 👍😎
DC
Наталья Александровна
всем привет, я новичек в clickhouse, как добавить optimize_throw_if_noop в конфиг?
Так это просто флаг чтобы команда optimize кидала эксепшин. Зачем это в профиль?
2020 August 24
KS
MAT VIEW в кликхаусе работает как insert trigger, так что заполнение не должно останавливаться, смотрите логи
в логах чисто, нет записей ни про матвью, ни про таблицу на которую она смотрит(
S
Добрый вечер, подскажите, пожалуйста, как эффективно получить пропуски в монотонно-возрастающих UInt, вроде уникальных айдишников?
ну можно какой нибудь ORDER BY WITH FILL
заюзать
https://clickhouse.tech/docs/en/sql-reference/statements/select/order-by/#orderby-with-fill
взять две колонки. одну колонку у которой не должно быть 0 значений (например время)
вторую с монотонно возрастающим счетчиком
и выбрать SELECT timeColumn, counterColumn ORDER BY timeColumn WITH FILL
ну а дальше на стороне приложения пройтись там где counterColumn =0 это и есть пропуски
заюзать
https://clickhouse.tech/docs/en/sql-reference/statements/select/order-by/#orderby-with-fill
взять две колонки. одну колонку у которой не должно быть 0 значений (например время)
вторую с монотонно возрастающим счетчиком
и выбрать SELECT timeColumn, counterColumn ORDER BY timeColumn WITH FILL
ну а дальше на стороне приложения пройтись там где counterColumn =0 это и есть пропуски
A
Привет. Можно ли как-то отключить кеширование для конкретного SELECT запроса? Чтобы не тратить лишнюю память.
A
То есть, чтобы кеш не создавался или создавался самый минимум.