Телеграмм чат группы clickhouse_ru страница 7711

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4048 membersпожаловаться на группу

2020 June 30

VM

Vadim Metikov in ClickHouse не тормозит

Так вы же увеличили период, значит уменьшили гранулярность:)

Нет, мы увеличили гранулярность, индекс стал занимать в 4 раза меньше и на серверах освободили около 100гб озу, хочу знать, что потеряли. Пока ясно, что читать стали более крупными блоками, но мы по одной строке и не читали, у нас графит-метрики

источник

11:05пожаловаться #1

BB

Bral Bral in ClickHouse не тормозит

Нет, мы увеличили гранулярность, индекс стал занимать в 4 раза меньше и на серверах освободили около 100гб озу, хочу знать, что потеряли. Пока ясно, что читать стали более крупными блоками, но мы по одной строке и не читали, у нас графит-метрики

Да как же увеличили, если количество засечек стало меньше . Ведь период 32 тысячи теперь

источник

11:06пожаловаться #2

BB

Bral Bral in ClickHouse не тормозит

Нет, мы увеличили гранулярность, индекс стал занимать в 4 раза меньше и на серверах освободили около 100гб озу, хочу знать, что потеряли. Пока ясно, что читать стали более крупными блоками, но мы по одной строке и не читали, у нас графит-метрики

Потеряли в запросах типо pk= чему то, если высокая кардинальность , больше чтений

источник

11:08пожаловаться #3

BB

Bral Bral in ClickHouse не тормозит

Нет, мы увеличили гранулярность, индекс стал занимать в 4 раза меньше и на серверах освободили около 100гб озу, хочу знать, что потеряли. Пока ясно, что читать стали более крупными блоками, но мы по одной строке и не читали, у нас графит-метрики

У меня ситуация обратная, я сознательно уменьшаю индекс, поскольку преобладают запросы точечные.

источник

11:12пожаловаться #4

S

Stanislav in ClickHouse не тормозит

Всем привет!
Запрос падает из-за ограничения по памяти на ноде.
Тип таблицы distributed
можно с этим как-то бороться, кроме увеличения памяти, или уменьшения диапазона выборки:?
За сутки прилетает примерно 5 млн строк

источник

11:12пожаловаться #5

DT

Dmitry Titov in ClickHouse не тормозит

Всем привет!
Запрос падает из-за ограничения по памяти на ноде.
Тип таблицы distributed
можно с этим как-то бороться, кроме увеличения памяти, или уменьшения диапазона выборки:?
За сутки прилетает примерно 5 млн строк

А сколько памяти на серверах?

источник

11:13пожаловаться #6

A

Andrey in ClickHouse не тормозит

Всем привет!
Запрос падает из-за ограничения по памяти на ноде.
Тип таблицы distributed
можно с этим как-то бороться, кроме увеличения памяти, или уменьшения диапазона выборки:?
За сутки прилетает примерно 5 млн строк

Группировки / сортировки есть?

источник

11:13пожаловаться #7

AK

Alexey Kostarev in ClickHouse не тормозит

А оно было раньше?
Возможно его могло просто не быть.

Это основная функция для партиционирования MergeTree() с сортировкой по времени
Она родилась вместе с возникновением MergeTree() движка

источник

11:14пожаловаться #8

S

Stanislav in ClickHouse не тормозит

8 Гб на ноду, 8 нод
7Гб на запрос
и группировки, и сортировки
но даже без всего этого запрос падает, если хотябы за пару суток селектить

источник

11:14пожаловаться #9

DT

Dmitry Titov in ClickHouse не тормозит

Alexey Kostarev

Это основная функция для партиционирования MergeTree() с сортировкой по времени
Она родилась вместе с возникновением MergeTree() движка

Я про ее наличии в доках)

источник

11:14пожаловаться #10

BB

Bral Bral in ClickHouse не тормозит

8 Гб на ноду, 8 нод
7Гб на запрос
и группировки, и сортировки
но даже без всего этого запрос падает, если хотябы за пару суток селектить

Вам скорость обязательна или терпимо? Можно сбрасывать на диск, чтобы переполнения не было .

источник

11:15пожаловаться #11

K

Katherine in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

да, Replicated таблицы не пропускают дубли БЛОКОВ

добавьте параметр insert_deduplicate=0

спасибо!

источник

11:15пожаловаться #12

S

Stanislav in ClickHouse не тормозит

Вам скорость обязательна или терпимо? Можно сбрасывать на диск, чтобы переполнения не было .

терпимо
а как на диск сбрасывать?

источник

11:16пожаловаться #13

DT

Dmitry Titov in ClickHouse не тормозит

8 Гб на ноду, 8 нод
7Гб на запрос
и группировки, и сортировки
но даже без всего этого запрос падает, если хотябы за пару суток селектить

Обычно можно разбить запрос на несколько таким образом

Where cityhash64(user_id)%10=0

источник

11:16пожаловаться #14

PL

Paul Loyd in ClickHouse не тормозит

Мы наоборот, получили экономию озу в 3 раза, выставив 32768 вместо дефолта. До этого 2,5 года исторических данных занимали в озу(РК) 160Гб

А что за PK был и сколько строк, если не секрет?

источник

11:18пожаловаться #15

BB

Bral Bral in ClickHouse не тормозит

терпимо
а как на диск сбрасывать?

max_bytes_before_external_group_by

источник

11:19пожаловаться #16

S

Stanislav in ClickHouse не тормозит

спасибо за советы!

источник

11:20пожаловаться #17

VM

Vadim Metikov in ClickHouse не тормозит

А что за PK был и сколько строк, если не секрет?

Строк по 50ккк в сутки, PrimaryKey всегда в памяти могу глянуть, если интересно

источник

11:20пожаловаться #18

BB

Bral Bral in ClickHouse не тормозит

спасибо за советы!

https://clickhouse.tech/docs/ru/sql-reference/statements/select/group-by/amp/#select-group-by-in-external-memory

источник

11:20пожаловаться #19

PL

Paul Loyd in ClickHouse не тормозит

Строк по 50ккк в сутки, PrimaryKey всегда в памяти могу глянуть, если интересно

Очень интересно

источник

11:21пожаловаться #20