Телеграмм чат группы clickhouse_ru страница 8373

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу

2020 September 27

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Gleb

С какими опциями, что бы данные на всех узлах копировались?

И как заставить по умолчанию использовать этот тип таблиц а не tinylog

Просто не указывать макрос shard в пути zk у таблицы. Тогда путь будет одинаковый на всех шардах

источник

15:17пожаловаться #1

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Gleb

У клика есть возможность использовать по умолчанию мерджетрии а не tinylog?

Нет конечно. И вообще нет умолчаний

источник

15:18пожаловаться #2

SM

Serhii Mikhno in ClickHouse не тормозит

Доброго времени суток. Есть какой то способ отдебажить почему по TTL партишены не удаляются - делал через MODIFY TTL timestamp + INTERVAL 14 DAY;

Прошло пару дней - старые партишены занимают ровно столько же, сколько и занимали.
Версия - v20.3.7.

К слову detach и drop partition тоже не работают. Чищу их останавливая инстанс и просто удаляя с дисков.

источник

15:27пожаловаться #3

SM

Serhii Mikhno in ClickHouse не тормозит

Может ли это быть, потому что

select *
  from system.settings
 where name = 'merge_with_ttl_timeout'


Ok. 0 rows in set. Elapsed: 0.419 sec. Processed: 0 rows, 0.0B (0 rows/s, 0.0B/s)

источник

15:29пожаловаться #4

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Всем привет

Кликхаус постоянно увеличивает потребление памяти, уже 16 gb мало.

Данных накопилось за несколько лет.

Какие есть варианты замедлить рост потребления?

Вижу такие:

1. Ограничить. Как?
2. Удалить партиции старше года. Старые данные влияют на потребление?
3. Смириться, дать столько памяти сколько просит, но попытаться уменьшить объем входящих данных.

Везде replicated merge tree.

Ограничить mark_cache в 2гб в config.xml

источник

15:35пожаловаться #5

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Господа, борюсь с left outer join в версии 19.9.4
Запрос при перезапуске выдаёт разные результаты
Я предполагаю что это из-за left outer join, но .. в теории может конечно и ещё из-за чего-то другого
Наверняка это известная проблема, подскажите решение плиз

А почему 19.9 и как запрос выглядит целиком?

источник

15:36пожаловаться #6

SC

Smoked Cheese in ClickHouse не тормозит

Доброго времени суток. Есть какой то способ отдебажить почему по TTL партишены не удаляются - делал через MODIFY TTL timestamp + INTERVAL 14 DAY;

Прошло пару дней - старые партишены занимают ровно столько же, сколько и занимали.
Версия - v20.3.7.

К слову detach и drop partition тоже не работают. Чищу их останавливая инстанс и просто удаляя с дисков.

TTL при создании таблицы был задан или его потом добавили?

источник

15:37пожаловаться #7

SM

Serhii Mikhno in ClickHouse не тормозит

Потом. И работать он будет только для свежесозданные партиций, да?

источник

15:37пожаловаться #8

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Доброго времени суток. Есть какой то способ отдебажить почему по TTL партишены не удаляются - делал через MODIFY TTL timestamp + INTERVAL 14 DAY;

Прошло пару дней - старые партишены занимают ровно столько же, сколько и занимали.
Версия - v20.3.7.

К слову detach и drop partition тоже не работают. Чищу их останавливая инстанс и просто удаляя с дисков.

Вы неправильно пишете имя партиции в detach и drop, они не могут не работать

источник

15:38пожаловаться #9

VM

Vadim Metikov in ClickHouse не тормозит

Всем привет

Кликхаус постоянно увеличивает потребление памяти, уже 16 gb мало.

Данных накопилось за несколько лет.

Какие есть варианты замедлить рост потребления?

Вижу такие:

1. Ограничить. Как?
2. Удалить партиции старше года. Старые данные влияют на потребление?
3. Смириться, дать столько памяти сколько просит, но попытаться уменьшить объем входящих данных.

Везде replicated merge tree.

Привет. Посмотрите, сколько занимают PK и кеш марков в ОЗУ, я кидал запрос выше. Если много, могу рассказать, как ументюьшить

источник

15:39пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Может ли это быть, потому что

select *
  from system.settings
 where name = 'merge_with_ttl_timeout'


Ok. 0 rows in set. Elapsed: 0.419 sec. Processed: 0 rows, 0.0B (0 rows/s, 0.0B/s)

это параметр merge_tree_settings

источник

15:39пожаловаться #11

SC

Smoked Cheese in ClickHouse не тормозит

Потом. И работать он будет только для свежесозданные партиций, да?

Надо сделать alter table materialize ttl

источник

15:39пожаловаться #12

SM

Serhii Mikhno in ClickHouse не тормозит

merge_with_ttl_timeout — Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).

Вижу вот такой параметр в доке.

источник

15:40пожаловаться #13

SM

Serhii Mikhno in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

Вы неправильно пишете имя партиции в detach и drop, они не могут не работать

┌─partition_id─┬─disk_name──┬─formatReadableSize(sum(bytes_on_disk))─┐
│ 20200906     │ default    │ 458.96 GiB                             │
│ 20200906     │ slow_disk2 │ 299.81 GiB                             │
└──────────────┴────────────┴────────────────────────────────────────┘

детачу alter table logs_db.app_logs detach partition 20200906

источник

15:40пожаловаться #14

DC

Denny Crane [not a Y... in ClickHouse не тормозит

┌─partition_id─┬─disk_name──┬─formatReadableSize(sum(bytes_on_disk))─┐
│ 20200906     │ default    │ 458.96 GiB                             │
│ 20200906     │ slow_disk2 │ 299.81 GiB                             │
└──────────────┴────────────┴────────────────────────────────────────┘

детачу alter table logs_db.app_logs detach partition 20200906

А что у таблицы в partition by

источник

15:42пожаловаться #15

SM

Serhii Mikhno in ClickHouse не тормозит

PARTITION BY toDate(timestamp)

источник

15:43пожаловаться #16

DC

Denny Crane [not a Y... in ClickHouse не тормозит

PARTITION BY toDate(timestamp)

Либо
alter table logs_db.app_logs detach partition '2020-09-06'
Либо
alter table logs_db.app_logs detach partition id 20200906

источник

15:44пожаловаться #17

SM

Serhii Mikhno in ClickHouse не тормозит

Вы боженька

источник

15:45пожаловаться #18

SC

Smoked Cheese in ClickHouse не тормозит

Доброго времени суток. Есть какой то способ отдебажить почему по TTL партишены не удаляются - делал через MODIFY TTL timestamp + INTERVAL 14 DAY;

Прошло пару дней - старые партишены занимают ровно столько же, сколько и занимали.
Версия - v20.3.7.

К слову detach и drop partition тоже не работают. Чищу их останавливая инстанс и просто удаляя с дисков.

Ещё в вашей версии кх TTL будет удалять только по 1 парту за раз, обновитесь до последней 20.3

источник

15:45пожаловаться #19

AG

Andrew Grigorev in ClickHouse не тормозит

Можно глупый не связанный вопрос? Как работает where date > 'XXXX-XX-XX' когда PARTITION BY toYYYYMM(date)? Или не работает?

источник

15:45пожаловаться #20