Size: a a a

ClickHouse не тормозит

2021 January 20

AR

Andrii R in ClickHouse не тормозит
Добрый день,
подскажите пожалуйтса, как лучше сделать партиционирование. У меня есть данные (список событий), которые хранятся до года, в день записывается порядка миллиона событий, и это количество по чуть-чуть растет. Сначала думал использовал партиционирование по месяцу, но сейчас задумался, не будет ли правильнее  делать партиционирование по дню?
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Andrii R
Добрый день,
подскажите пожалуйтса, как лучше сделать партиционирование. У меня есть данные (список событий), которые хранятся до года, в день записывается порядка миллиона событий, и это количество по чуть-чуть растет. Сначала думал использовал партиционирование по месяцу, но сейчас задумался, не будет ли правильнее  делать партиционирование по дню?
клик ругается когда создаешь более 100 партиций на одну таблицу. у меня около 1500000 в день событий, партиционирование по месяцу - полет нормальный
источник

AR

Andrii R in ClickHouse не тормозит
KiLEX 萊赫
клик ругается когда создаешь более 100 партиций на одну таблицу. у меня около 1500000 в день событий, партиционирование по месяцу - полет нормальный
спасибо! читал в документации что до 1000 патриций можно, видимо неправильно посчитал нули 😄
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
ругается - но создаёт)
источник

AR

Andrii R in ClickHouse не тормозит
в документации - вот что:

Не рекомендуется делать слишком гранулированное партиционирование – то есть задавать партиции по столбцу, в котором будет слишком большой разброс значений (речь идет о порядке более тысячи партиций). Это приведет к скоплению большого числа файлов и файловых дескрипторов в системе, что может значительно снизить производительность запросов SELECT.
источник

AR

Andrii R in ClickHouse не тормозит
у меня просто есть выборки по дням, вот я и задумался
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
такой объем данных для клика - мелочь. в принципе даже без партиционирования нужные мне запросы происходят очень быстро
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
я храню 3 года+
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
у меня выборки дневные, сгруппированные по часам
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
пробовал дневные партиции - по скорости получилось тоже самое - очень быстро)
источник

AR

Andrii R in ClickHouse не тормозит
ок, супер, спасибо
источник

MA

Mark Andreev in ClickHouse не тормозит
Andrii R
спасибо! читал в документации что до 1000 патриций можно, видимо неправильно посчитал нули 😄
Это можено изменять через настройку max_parts_in_total, стандартное значение 100000 (https://github.com/ClickHouse/ClickHouse/blob/2c71b997de3f49de80802ced4dd19787f344486a/src/Storages/MergeTree/MergeTreeSettings.h#L58)
источник

AR

Andrii R in ClickHouse не тормозит
спасибо, буду знать. Поэксперементирую на досуге
источник

А

Алексей in ClickHouse не тормозит
ребят, каким клиентом для ClickHouse пользуетесь для Винды?
источник

В

Влад in ClickHouse не тормозит
Алексей
ребят, каким клиентом для ClickHouse пользуетесь для Винды?
Встроенным в ide от jetbrains
источник

МП

Михаил Петрович... in ClickHouse не тормозит
Алексей
ребят, каким клиентом для ClickHouse пользуетесь для Винды?
Пользуюсь dbeaver, он кроссплатформенный
источник

M

Munir in ClickHouse не тормозит
Алексей
ребят, каким клиентом для ClickHouse пользуетесь для Винды?
notepad++ putty ClickHouse client version 20.8.5.45 (official build).
источник

А

Алексей in ClickHouse не тормозит
Munir
notepad++ putty ClickHouse client version 20.8.5.45 (official build).
это что за зверь?
источник

M

Munir in ClickHouse не тормозит
Алексей
это что за зверь?
текстовый редактор + командная строка, большие портянки писать - самое то, другие окна не мешают. + можно на отдельные экраны разнести, когда совсеммного писать
источник

ВЮ

Владислав Юсюмбели... in ClickHouse не тормозит
Добрый день! Может кто-нибудь подсказать сколько раз будет вычиляться функция arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) в этом запросе?
SELECT arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) as last_mailing_result
FROM log_record
having arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) LIKE 'хорошо';
источник