Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

2021 January 22

НК

Никита Козловский... in ClickHouse не тормозит

Попробуй в конфиг добавить или раскомментить вот это
<max_server_memory_usage_to_ram_ratio replace="1">2</max_server_memory_usage_to_ram_ratio>

не помогло, все так же

источник

16:40пожаловаться #1

Denny Crane [not a Y... in ClickHouse не тормозит

Подскажите как запретить мерджить парты? У меня есть архивная таблица, в которую данные не поступают, и я ее переливаю на другой сервер. Вот не хочу чтобы мерджи в ней тратили ресурсы жесткого диска

system stop merges таблица

источник

16:49пожаловаться #2

Denny Crane [not a Y... in ClickHouse не тормозит

Alexey Vlasov

Доброго времени суток. Столкнулся с проблемой, после обновления 19.х -> 21.х. Неудается создать таблицу с TTL если там присутствует TO DISK, ругаеться на ошибку синтаксиса. Синтаксис изменился?

не менялся кажется, а пример запроса

источник

16:49пожаловаться #3

Denny Crane [not a Y... in ClickHouse не тормозит

Модина Питон

доброго времени суток! подскажите, пожалуйста, можно ли безопасно пересоздавать kafak таблицу на которую навешена мат вью, не останавливая поток к саму кафку?

можно, detach materialized view / drop table kafka eng / create / attach

источник

16:50пожаловаться #4

Alex Moran in ClickHouse не тормозит

Добрый день.

Немного глупый вопрос. Есть столбец с массивами разной длинны, можно ли как то собрать через groupArray() или подобную функцию всё в единый массив, не делая arrayJoin исходных массивов?

источник

16:51пожаловаться #5

Dmitry Titov in ClickHouse не тормозит

Alex Moran

groupArrayArray ?

источник

16:52пожаловаться #6

Alexey Vlasov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

не менялся кажется, а пример запроса

CREATE TABLE default.test
(   `date` Date MATERIALIZED toDate(time),
    `time` DateTime CODEC(ZSTD(1))
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(date)
ORDER BY time
TTL date + toIntervalDay(1) TO DISK 'hdd',
 date + toIntervalDay(7)
SETTINGS index_granularity = 1000

источник

16:52пожаловаться #7

ОР

Олег Рязанов... in ClickHouse не тормозит

Alex Moran

есть функция типа flatten

источник

16:53пожаловаться #8

Alex Moran in ClickHouse не тормозит

Dmitry Titov

groupArrayArray ?

Оно самое, спасибо.

источник

16:53пожаловаться #9

Yuri Velgosha in ClickHouse не тормозит

Никита Козловский

не помогло, все так же

Ну и, кстати, СH это вообще не про апдейты.. Так что лучше не испытывать судьбу с этим...
Ну или пытаться по партам это дело менять..

источник

16:59пожаловаться #10

НК

Никита Козловский... in ClickHouse не тормозит

так и думал, сейчас просто разово необходимость возникла

источник

17:00пожаловаться #11

Yuri Velgosha in ClickHouse не тормозит

Никита Козловский

так и думал, сейчас просто разово необходимость возникла

Может быть попробовать условие WHERE использовать, если есть поле timestamp в таблице и небольшими кусочками апдейтить.... А то, похоже, что он пытается многогигабайтную базу всю засунуть в память и еще там над ней надругаться :)

источник

17:02пожаловаться #12

НК

Никита Козловский... in ClickHouse не тормозит

я думаю скорее с докером что-то, т.к. на серваке все норм

источник

17:03пожаловаться #13

Denny Crane [not a Y... in ClickHouse не тормозит

Alexey Vlasov

CREATE TABLE default.test
(   `date` Date MATERIALIZED toDate(time),
    `time` DateTime CODEC(ZSTD(1))
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(date)
ORDER BY time
TTL date + toIntervalDay(1) TO DISK 'hdd',
 date + toIntervalDay(7)
SETTINGS index_granularity = 1000

не было такого синтаксиса, всегда был move

источник

17:27пожаловаться #14

Denny Crane [not a Y... in ClickHouse не тормозит

Никита Козловский

Добрый день! подскажите, пытаюсь обновить данные в таблице "ALTER TABLE table UPDATE field = 'newValue' WHERE name = 'test';", но получаю такую ошибку "DB::ErrnoException: Allocator: Cannot mmap 16.00 EiB., errno: 12, strerror: Cannot allocate memory (version 20.7.2.30 (official build))". CH на докере, в чем может быть дело?
Пробовал прогнать запрос на серваке, там он отработал

на серваке тоже версия 20.7.2.30 ? Это баг

источник

17:28пожаловаться #15

Alexey Vlasov in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

не было такого синтаксиса, всегда был move

эмм... в документации написано

источник

17:29пожаловаться #16

Alexey Vlasov in ClickHouse не тормозит

Alexey Vlasov

эмм... в документации написано

https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl

clickhouse.tech

MergeTree | Документация ClickHouse

MergeTree Движок MergeTree, а также другие движки этого семейства (*MergeTree) — это наиболее функциональные движки табл

источник

17:30пожаловаться #17

Denny Crane [not a Y... in ClickHouse не тормозит

Alexey Vlasov

эмм... в документации написано

а, не туда посмотрел

в чем тогда вопрос?

вот такое работает:

CREATE TABLE example_table
(
d DateTime,
a Int
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(d)
ORDER BY d
TTL d + INTERVAL 1 WEEK TO VOLUME 'default'

в 19-х версиях не было TTL TO , ну может TTL TO появился в 19.17

источник

17:32пожаловаться #18

ИИ

Илья Ибрагимов... in ClickHouse не тормозит

Илья Ибрагимов

Господа, доброго времени суток.
Недавно обновил Clickhouse до LTS версии - 20.8.9.6, в которой, по идее, должны были решить проблему с разваливающимеся индексами. До этого стояла версия 19.13.6.

Тем не менее, сегодня (спустя примерно 2 дня после установки индексов на таблицы) получил ошибку:

DB::Exception: Bad size of marks file '/var/lib/clickhouse/data/db/locatable_entity_states/202007_0_95577_29252_132669/skp_idx_loc_campus_id_idx.mrk2': 144, must be: 168

Подскажите, пожалуйста, как локально пересобрать индекс, а так же не допустить проблем в будущем?

Кто-нибудь знает, в чем может быть проблема с индексами?

источник

17:48пожаловаться #19

Dmytro Nemesh in ClickHouse не тормозит

ребята вопрос

SELECT id, ctr FROM …..

возращается результат
id | ctr |
1 | 1.2
2 | 1.4
3 | 1.1

Есть ли техническая возможность вывести разнизу CTR с первой записью где id=1 ? БЕЗ with ? Не хочется деллать еще раз запрос и плодить полотно

источник

18:01пожаловаться #20