Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

2020 September 16

подскажите, а

ALTER TABLE app_metrics MODIFY TTL date + toIntervalMonth(3) DELETE;

затратная по времени операция?

запустил на таблице, запрос повисел.
Ответил

Timeout exceeded while receiving data from server. Waited for 300 seconds, timeout is 300 seconds.

Не понимаю, штатное ли это поведение или проблема?

источник

11:53пожаловаться #1

Vladyslav Sakun in ClickHouse не тормозит

Askhat Sarkeev

Привет,
Создал таблицу с движком ReplicatedReplacingMergeTree
Потом дропнул и попробовал написать в нее, но таблица перешла в readonly mode
При повторной попытке дропа выдеат следующее:

DB::Exception: Can't drop readonly replicated table (need to drop data in ZooKeeper as well)

https://github.com/ClickHouse/ClickHouse/issues/13836

GitHub

How to force dropping readonly replicated table · Issue #13836 · ClickHouse/ClickHouse

I created a ReplicatedMergeTree table, then the data in zookeeper has been reoved rmr /clickhouse_perftest. And then I try to run DROP TABLE hits_replica;, but it's always say 'Rece...

источник

11:54пожаловаться #2

Igor in ClickHouse не тормозит

Всем привет! А какие могут быть последствия от использования размера шардов в 40 терабайт?

источник

11:57пожаловаться #3

Slach in ClickHouse не тормозит

Эмил

Попытка номер один задать вопрос по человечиски

CREATE TABLE IF NOT EXISTS logs_extended
    (
      created_datetime DateTime DEFAULT now(),
      event_datetime DateTime,
      lac UInt32,
      sac UInt32,
      msisdn LowCardinality(String)
    )
    ENGINE = MergeTree
    PARTITION BY toYYYYMM(event_datetime)
    ORDER BY (event_datetime,msisdn)
    TTL event_datetime + INTERVAL 1 WEEK DELETE

У меня будет оптимизированный select по event_datetime и msisdn?

да будет

источник

11:57пожаловаться #4

Igor in ClickHouse не тормозит

Просто медленнее сканировать будет или что-то более серьезное?

источник

11:58пожаловаться #5

Slach in ClickHouse не тормозит

Эмил

Попытка номер один задать вопрос по человечиски

CREATE TABLE IF NOT EXISTS logs_extended
    (
      created_datetime DateTime DEFAULT now(),
      event_datetime DateTime,
      lac UInt32,
      sac UInt32,
      msisdn LowCardinality(String)
    )
    ENGINE = MergeTree
    PARTITION BY toYYYYMM(event_datetime)
    ORDER BY (event_datetime,msisdn)
    TTL event_datetime + INTERVAL 1 WEEK DELETE

У меня будет оптимизированный select по event_datetime и msisdn?

если clickhouse Новый
https://github.com/ClickHouse/ClickHouse/pull/11873
сделай
EXPLAIN PLAN SELECT ...
и посмотри

GitHub

Initial explain by KochetovNicolai · Pull Request #11873 · ClickHouse/ClickHouse

I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

New Feature

Changelog entry (a user-readable short description of the cha...

источник

11:59пожаловаться #6

Slach in ClickHouse не тормозит

Igor

Всем привет! А какие могут быть последствия от использования размера шардов в 40 терабайт?

ну тут не размер диска на шарде важен
а размер parts которые надо в SELECT сканировать
и скорость дисковой подсистемы
то есть если ваши запросы пролазят в вашу дисковую подсистему и у вас там реально больше 40 терабайт данных

40 терабайт это у вас сколько дисков сервере?
в целом если parts грамотно по дискам раскидать через TTL и VolumePolicy
то это все еще и сканироваться паралельно может

в общем для такого объема дисковой подсистемы
ПАМЯТЬ \ CPU тоже должны быть быстрые

источник

12:02пожаловаться #7

Slach in ClickHouse не тормозит

Vladimir

Привет! Прописываю listen_host для конкретного юзера и разрешаю ему внешние подключения. Все было нормально до того как мне понадобилось снимать prometheus.

 <prometheus>
        <endpoint>/metrics</endpoint>
        <port>8001</port>
        <metrics>true</metrics>
        <events>true</events>
        <asynchronous_metrics>true</asynchronous_metrics>
    </prometheus>

Порт открывается, но только на 0.0.0.0.
Можно как-то для него отдельно прописать listen_host чтобы не открывать весь CH всем пользователям?

ну вообще, вроде как бы prometheus метрики отдаются не пользователю а всем также как и /ping и также как custom http request
и поэтому host определяется через общую директиву listen_host
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-listen_host

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

источник

12:11пожаловаться #8

Vladimir in ClickHouse не тормозит

Slach

clickhouse.tech

Server Settings | ClickHouse Documentation

Server Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli

Правильно я понимаю, что кроме как открыть порты для всех вариантов нет?

источник

12:12пожаловаться #9

КТ

Константин Трофимов... in ClickHouse не тормозит

Igor

Всем привет! А какие могут быть последствия от использования размера шардов в 40 терабайт?

Вот прям от того что у вас шард 100500 теров ничего не сломается, все зависит от того как вы будете потом это всё выбирать. Например, если у вас 99% выборок это последние несколько месяцев а остальное вы храните просто как исторические данные к которым обращаетесь редко... Ну т.е. я описываю популярный кейс когда надо такие шарды

источник

12:12пожаловаться #10

КТ

Константин Трофимов... in ClickHouse не тормозит

тогда да, без проблем

источник

12:12пожаловаться #11

КТ

Константин Трофимов... in ClickHouse не тормозит

источник

12:13пожаловаться #12

Igor in ClickHouse не тормозит

Спасибо! Учтем при проектировании

источник

12:13пожаловаться #13

КТ

Константин Трофимов... in ClickHouse не тормозит

Можно ещё ssd накинуть первым пунктом в strorage_policy в default

источник

12:15пожаловаться #14

Maxim Pronkin in ClickHouse не тормозит

Коллеги а кто баловался ручной операцией FREEZE/ATTACH ? можете проконсультировать?

источник

12:15пожаловаться #15

КТ

Константин Трофимов... in ClickHouse не тормозит

будете писать/читать с ssd свежачок, а старое будет на харды оседать

источник

12:15пожаловаться #16

КТ

Константин Трофимов... in ClickHouse не тормозит

Maxim Pronkin

Коллеги а кто баловался ручной операцией FREEZE/ATTACH ? можете проконсультировать?

спрашивай, тут многа таких кто так балуется! XD

источник

12:16пожаловаться #17

КТ

Константин Трофимов... in ClickHouse не тормозит

alter table t1 freeze и alter table attach partition XXX я так понимаю имеется ввиду?

источник

12:17пожаловаться #18

Maxim Pronkin in ClickHouse не тормозит

Ну суть такая что сделал FREEZE, скопировал данные из shadow.

Развернул новый сервак. пустой совсем. запустил клик, из метаданных накатил таблицы (поправив attache на create. все как в документации)

источник

12:19пожаловаться #19

Maxim Pronkin in ClickHouse не тормозит

Скопировал данные в /var/lib/clickhouse/data/database/table/detached/ (следовательно имя таблицы и базы свои) а ALTER TABLE t ATTACH PARTITION не проходит.

источник

12:20пожаловаться #20