В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3937 membersпожаловаться на группу
2020 May 28

DT

Dmitry Titov in ClickHouse не тормозит
Tony Larin
да, но немного не то. Хочется именно гео словари мультиязычные с иерархией чтобы хранить гео инфу одним числом :(

пойду костылись пытаться
Мне кажется я где то читал об этом, но не смог найти
источник
15:26пожаловаться#1

S

Shazo in ClickHouse не тормозит
Tony Larin
да, но немного не то. Хочется именно гео словари мультиязычные с иерархией чтобы хранить гео инфу одним числом :(

пойду костылись пытаться
не уверен тчо вас понял, но мб это?
https://clickhouse.tech/docs/ru/sql-reference/functions/ym-dict-functions/
clickhouse.tech
Функции для работы со словарями Яндекс.Метрики | Документация ClickHouse
Функции для работы со словарями Яндекс.Метрики Чтобы указанные ниже функции работали, в конфиге сервера должны быть указ
источник
15:37пожаловаться#2

S

Shazo in ClickHouse не тормозит
А это и было в issue, извиняюсь.
источник
15:38пожаловаться#3

SM

Sergey Mc in ClickHouse не тормозит
Добрый день!

Подскажите с чего начать оптимизировать. Есть таблица ~1трлн записей 37 полей.

Работает крайне медленно.

Из того что вижу много полей имеет тип STRING там где можно обойтись   UInt16 UInt32,
Партиционирование сделано по 2ум колонкам типа DATETIME+STRING
источник
15:40пожаловаться#4

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Mc
Добрый день!

Подскажите с чего начать оптимизировать. Есть таблица ~1трлн записей 37 полей.

Работает крайне медленно.

Из того что вижу много полей имеет тип STRING там где можно обойтись   UInt16 UInt32,
Партиционирование сделано по 2ум колонкам типа DATETIME+STRING
DATETIME + string?
а можно DDL?
хотябы PARTITION BY и ORDER BY
источник
15:46пожаловаться#5

SM

Sergey Mc in ClickHouse не тормозит
Dmitry Titov
DATETIME + string?
а можно DDL?
хотябы PARTITION BY и ORDER BY
CREATE TABLE DPI.FLOW (
  START_TIME DateTime,
  END_TIME DateTime,
  RULEBASE String,
...
  SESSION_DURATION UInt32,
  INDEX IMSI_idx IMSI TYPE minmax GRANULARITY 64
) ENGINE = MergeTree() PARTITION BY (toDate(END_TIME), RULEBASE)
ORDER BY
  RADIUS_ID SETTINGS index_granularity = 8192
источник
15:49пожаловаться#6

DT

Dmitry Titov in ClickHouse не тормозит
GRANULARITY 64 = 64*8192 => у вас хранятся один minmax на 524тыс записи
источник
15:50пожаловаться#7

DT

Dmitry Titov in ClickHouse не тормозит
RULEBASE сколько уникальных?
источник
15:51пожаловаться#8

DT

Dmitry Titov in ClickHouse не тормозит
И можно примерные запросы(точнее какие условия в WHERE)
источник
15:51пожаловаться#9

SM

Sergey Mc in ClickHouse не тормозит
Dmitry Titov
RULEBASE сколько уникальных?
парудесятков думаю,  COUNT минут на 10 сейчас уйдет считать
источник
15:52пожаловаться#10

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Mc
парудесятков думаю,  COUNT минут на 10 сейчас уйдет считать
у вас в день те 20 партиций создается?
а 1трлн за какое время?
источник
15:53пожаловаться#11

SM

Sergey Mc in ClickHouse не тормозит
за 70 дней
источник
15:53пожаловаться#12

DT

Dmitry Titov in ClickHouse не тормозит
Dmitry Titov
И можно примерные запросы(точнее какие условия в WHERE)
а какие запросы?
источник
15:53пожаловаться#13

DT

Dmitry Titov in ClickHouse не тормозит
Dmitry Titov
GRANULARITY 64 = 64*8192 => у вас хранятся один minmax на 524тыс записи
они в большинстве случаев делают только хуже
источник
15:54пожаловаться#14

SM

Sergey Mc in ClickHouse не тормозит
ну , запросы самые разные, от посчитать сумму по колонке и до невообразимых
источник
15:54пожаловаться#15

SM

Sergey Mc in ClickHouse не тормозит
агрегация по периодам, по другим колонкам
источник
15:55пожаловаться#16

DT

Dmitry Titov in ClickHouse не тормозит
ну, просто если нельзя выделить какие то основные условия в WHERE, то будет ожидаемый full scan и долго и больно
источник
15:55пожаловаться#17

SM

Sergey Mc in ClickHouse не тормозит
Архитектурно както можно оптимизировать?
источник
15:56пожаловаться#18

SM

Sergey Mc in ClickHouse не тормозит
например STRING  в UInt  перевести
источник
15:56пожаловаться#19

SM

Sergey Mc in ClickHouse не тормозит
партиционирование настроить по другому
источник
15:56пожаловаться#20